第10節はストレージの提供形態と、オンプレミスとクラウドの使い分け、故障に備える保守サポートについて解説しました。
今回はAI時代に求められる「AIストレージ」について解説します。
データが遠い場合
クラウド内環境でも、GPUとストレージのゾーンをまたぐと遅延が積み重なります。
データが近い場合
高速化のためにRDMA(InfiniBandまたはRoCE)を使用するのが一般的です。
通常の転送
GPUDirect Storage
| 学習(Training) | 推論(Inference) | |
|---|---|---|
| データの流れ | 大量の学習データを繰り返し読み込み | KVキャッシュの読み書き+モデルのロード |
| 重視する性能 | スループット(GB/s) | レイテンシ(μs〜ms) |
| アクセスパターン | シーケンシャル(連続読み出し) | ランダム(複数ユーザーが同時アクセス) |
| 容量の主役 | 学習データセット(TB〜PB) | KVキャッシュ+モデル(GB〜TB) |
| 関連技術 | GPUDirect Storage、NVMe-oF | KVキャッシュオフロード、プロンプトキャッシュ |
| 選定時に確認すべきこと |
|
|
| 構造化データ | 非構造化データ | |
|---|---|---|
| 定義 | あらかじめ決まった形式・スキーマ(構造定義)に従って整理されたデータ | 決まった形式を持たず、自由な形で存在するデータ |
| 代表例 |
|
|
| 保存形式 | RDB(MySQL、PostgreSQLなど)、Excel、CSV | オブジェクトストレージ、ファイルストレージ、分散ファイルシステム |
| 検索・集計 | SQLで容易に検索・集計が可能。 | そのままでは検索困難。前処理・ベクトル化などが必要。 |
| AIとの関係 |
|
|
| ストレージへの要求 |
|
|
MCP導入前
AIごと・データソースごとに
個別の連携が必要
MCP導入後
MCPという標準プロトコルで
すべての接続を統一
MCPの権限管理はOAuth 2.1がベース。『誰がどのデータにアクセスしてよいか』をトークンで制御する仕組みが標準化されつつある。
誤解
誰でも自由に見られる
正解
必要なデータにすぐアクセス
| ETL | ELT | データプレパレーション | |
|---|---|---|---|
| 意味 | Extract(抽出)、Transform(変換)、Load(格納)の略 | Extract(抽出)、Load(格納)、Transform(変換)の略 | データの前処理や整形全般を指す |
| 主な流れ | ①データ抽出 → ②変換 → ③保存 | ①データ抽出 → ②保存 → ③変換 | 使いたいデータをその場で整形・加工 |
| 利用される場所 | オンプレミスのDBやDWH、バッチ処理 | クラウドDWH、大規模データ処理 | AI/分析前、BI利用前、現場作業など |
| 対象者 | IT部門、データエンジニア | IT部門、データエンジニア | データサイエンティスト、現場スタッフ |
| データ量 | 大規模・全社データ | 超大規模・ビッグデータ | 小~中規模・分析対象データ |
| 特徴 | 保存前にしっかり変換(クレンジング) | まず保存して後で柔軟に変換 | ノーコードGUIや直感的な操作が多い |
| 主な用途 | 基幹システム連携、DWH構築 | クラウドDWH・データレイク活用 | AI開発・分析・レポート準備 |
| 主なツール例 | Informatica, Talend, DataStageなど | AWS Glue, Azure Data Factoryなど | Alteryx(旧Trifacta含む), Power Query, Dataiku※など |
Dataikuはデータ準備からモデル管理まで一貫して扱うMLプラットフォームであり、純粋なデータプレパレーションツールより広い機能を持つ。
ETL/ELTで丁寧に整えたデータも、時間が経てば「古いデータ」になってしまう。
顧客の購買傾向、市場の変化、センサーの計測値——これらは日々更新されており、古いデータで学習したAIは現実とズレた判断を下すようになる。これを防ぐためにAIモデルは定期的に再学習(リトレーニング)が必要だ。用途によっては毎日、場合によってはリアルタイムに近い頻度で学習データを更新し続けなければならない。
つまりストレージへのデータ書き込みは「一度やれば終わり」ではない。新しいデータの収集・前処理・保存・学習というパイプラインが継続的に回り続けることになる。これはつまり、ストレージに常に一定の書き込み負荷がかかり続けるということなのだ。
従来のデータセンター
数kW〜10kW
VS
AIファクトリー
数十kW〜130kW超
電力→発熱→冷却の悪循環
液冷で解決
AIの学習は、数時間〜数日かかることが珍しくない。その途中で障害が発生してゼロからやり直しとなると、膨大な時間とコストが無駄になってしまう。そこで使われるのがチェックポイントという仕組みだ。チェックポイントとは、学習の途中経過(モデルの重みやパラメータ)を定期的にストレージに保存しておくことで、障害発生時に直近のチェックポイントから再開できるようにするものだ。
ところがこれが、ストレージへの大きな負荷になる。大規模モデルでは1回のチェックポイント保存で数百GB〜数TBの書き込みが発生し、それを数時間おきに繰り返す。しかも学習中はデータの読み込みも並行して走っているため、読み書きが同時に発生する非常に高負荷な状態が続く。
ここまでで学んできたように、AIストレージには高いスループットと同時アクセス耐性が求められる。チェックポイントの保存ひとつとっても、それは例外ではない。
今回はAI時代に求められるAIストレージを解説しました。
AIストレージは「転送速度」「同時アクセス耐性」「大容量非構造化データ対応」に最適化されたストレージです。GPUDirect StorageやKVキャッシュの逃がし先、マルチプロトコル対応、データパイプラインやMCP、データの民主化に伴う認証・認可、そして消費電力まで、AI基盤ではストレージが担う役割がますます大きくなっています。
次回はいよいよ第2章「ストレージ機能編」です。まずは基本のスナップショット・レプリケーションから学びましょう。