株式会社セガゲームス

創業:1960年6月3日
資本金:1億円
U R L : http://sega-games.co.jp/
業種 : ゲ ームソフト
事業概要: スマートデバイス、PC、家庭用ゲーム機向けのゲームの企画・開発・販売

導入前までの経緯

  • 突如出現し、ストレージI/Oを食い潰す“モンスターVM”の発生を防ぐこと
  • インフラの耐障害性を考え、将来的には「全仮想化」を実現していくこと

導入後期待される効果

  • 強力な自動QoS機能でストレージI/Oを制御、VMのパフォーマンス劣化を回避
  • 日々のストレージ運用作業を大幅削減し、インフラ改善の取り組みに注力可能に

プロジェクトメンバー

株式会社セガゲームス 藤瀬 聡一郎 氏

株式会社セガゲームス
戦略企画統括部
共通基盤開発部 副部長
インフラDB課 課長

藤瀬 聡一郎 氏

株式会社セガゲームス 麻生 恭兵 氏

株式会社セガゲームス
戦略企画統括部
共通基盤開発部
インフラDB課

麻生 恭兵 氏

ゲームやB2Bサービスの提供インフラを支える

「セガゲームスのITインフラは、『全仮想化』に向けたスタートラインに立ったところです」セガゲームスでインフラDB課 課長を務める藤瀬聡一郎氏は、現状をこう説明する。
セガゲームスと言えば、これまで数々の人気ゲームタイトルをリリースしてきた名門ゲーム会社だ。近年も、PCや家庭用ゲーム機、スマートデバイス向けに『ファンタシースターオンライン2』や『龍が如くシリーズ』、『ぷよぷよ!!クエスト』、『オルタンシア・サーガ- 蒼の騎士団-』といったヒット作を生み出している。
さらに、最近では新たな事業領域にも積極的に取り組んでいる。同社が提供するB2B向けのスマートデバイス向けマーケティング支援サービス「Noah Pass(ノアパス)」は、現在では月間アクティブユーザー数(MAU)が1000万人を超える規模となり、順調に成長を続けている。
こうしたサービスを提供するITインフラの構築と運用を手がけるのが、藤瀬氏率いるインフラDB課だ。同課が何よりも重視しているのが、ITインフラの安定性と可用性である。インフラ障害が発生し、たとえ数分でもサービスが停止したり、パフォーマンスが劣化したりすれば、ビジネス上の大きな損害に直結する。藤瀬氏が言う「全仮想化」も、インフラの耐障害性をさらに向上させるための構想となる。
すでに現時点でも、物理サーバーの半数以上は仮想化環境をホストするために使われており、そこでは2000~3000のVMが稼働している。

突如出現する“モンスターVM”その対処に振り回される日々

そんなセガゲームスでは2016年、本番サービス環境にネットワールドが提供する仮想化環境専用ストレージ「Tintri VMstore T850」を新規導入し、運用を開始した。
インフラDB課の麻生恭兵氏は、新ストレージの導入を検討することになった理由を、次のように説明する。
「これまで仮想化環境向けに利用してきたストレージには、QoSを自動調整する機能がありませんでした。そのため“モンスターVM”が発生すると、ほかのVMが極端にパフォーマンス劣化するという問題がありました」(麻生氏)
麻生氏が言う「モンスターVM」とは、ストレージのI/Oリソースを大量に食い潰す(消費する)仮想マシンのことだ。モンスターVMが出現すれば、同じストレージを利用しているほかのVMのパフォーマンスに大きな影響が出てしまう。しかも、このモンスターVMの出現はまったく予測不可能だという。
言うまでもなく、このモンスターVMはITインフラの安定運用にとっては大敵である。出現すれば、インフラDB課は迅速に対処しなければならない。具体的には、I /O高負荷の原因となっているVMがどれかを突き止め、ストレージのQoS設定を手作業で調整したり、原因のモンスターVMをほかのホストに移動することで、ほかのVMへの影響を抑える作業が必要だった。
しかし現実には、そもそもどれがモンスターVMなのか、どんな処理を実行したことが原因なのかを特定することすら困難だったという。
「最初は1台ずつ、すべてのVMにログインしてイベントログを取り出し、ストレージI/Oが急増した時間にどんな処理が行われていたのかを調査していましたが、ほとんどのケースでは原因不明のまま終わりました」(藤瀬氏)
1、2日かけて調査を行い、運良く原因を突き止められたとしても、その後の対処にはさらに時間がかかった。適切なQoS値を慎重に検討し、設定変更手順を調べ、場合によってはストレージベンダーを呼び寄せて今後の対応を検討する。長い場合は、こうした対応で1週間ほど費やしていたという。
「こうしたことを何度も繰り返しているうちに、『そもそもわれわれはそこに注力すべきなのか?』と疑問に思うようになりました。やるべき業務はほかにもありますし、日々の運用は効率良く回すべきですから」(藤瀬氏)
全仮想化を実現していくためにも、この“モンスターVM”を倒し、安定稼働するITインフラを実現しなければならない。そこでインフラDB課では、2016年の夏から新たなストレージ製品の導入検討に取りかかった。

4社ストレージを実機検証、全員一致でティントリを選択

製品選定に際してはストレージベンダー4社から検証機を借り受け、「ハードウェア障害の発生時に、どの程度ストレージI/Oが停止してしまうか」と「運用面でどの程度改善効果があるか」の2点に注目して、セガゲームス/ネットワールド/ティントリの3社合同で、PoCを約1カ月間実施した。
「ハードウェア障害のテストでは、検証機のLANケーブルを引き抜いたり、ハードディスクを1台壊したりして、擬似的に障害を発生させました。長いものではI/Oが2~3分間も停止してしまったのですが、ティントリの場合は数秒~数十秒程度で回復しました」(麻生氏)
また運用改善面では、ティントリが備える「自動QoS機能」が圧倒的な効果を発揮したという。これはVMごとのストレージI/Oを監視し、I/O急増の場合はそれを動的に制御して、ほかのVMのI/Oに影響を及ぼさないようにする機能だ。
「他社ストレージにも自動QoS機能を備えたものはありましたが、テストしてみるとおだやかにI/Oを抑えているという程度で、ほかのVMのパフォーマンスに影響が出ていました。一方でティントリは、自動QoSがほかのVMへの影響をしっかりと抑えてくれました」(麻生氏)
およそ3カ月間の検証を経て、インフラDB課メンバー全員の意見が一致するかたちで、ティントリのストレージを導入することが決まった。DRサイト用を含め、今回セガゲームスでは合計4台のT850を導入している。

株式会社セガゲームス 構成図

自動QoSは効果抜群、定例運用作業がほぼゼロに

ティントリの設定は30分、インテグレーターによるシステム全体の導入作業を約1週間で終え、2016年の秋口には稼働を開始。その後、2カ月ほどをかけて既存のVMをティントリへと移行していった。移行完了は2017年1月のことだ。
ティントリ導入後の効果について、藤瀬氏も麻生氏も「ストレージ運用を一切意識しなくてよくなった」「ストレージ運用にかかる時間がほとんどゼロになった」と口を揃える。自動QoS機能の効果は抜群だ。
「QoSが自動でかかるので、運用開始後はまったく何もしていませんね。あまりに何もしなくていいので、本当にこれでいいのかな、と少し戸惑っているくらいです(笑)」(藤瀬氏)
導入時には「1台あたり500VM」の収容を目安として機種を選定したが、本当にキャパシティが足りるのかという不安もあったという。だが、そうした不安は杞憂だったそうだ。
「実環境でのデータ削減率は2.2倍と、カタログスペックどおりの効果が出ています。現在は1台あたり420VMを収容していますが、まだまだ余裕があり、1台で800VMくらいは収容できそうです。重複排除と圧縮の機能をオンにしても、パフォーマンスにまったく影響が出ていない点も重要ですね」(麻生氏)
DRサイトへのバックアップについても、ティントリでは重複排除/圧縮のおかげで転送するデータ量が大幅に削減されるため、「TintriReplicate VM」を利用して1時間に1回のバックアップ(スナップショット)を実現している。
全仮想化ビジョンの実現に向けて、現在の物理サーバーに匹敵するパフォーマンスを実現できる仮想化環境を整備していくことが、インフラDB課としての現在の目標だ。その目標に向けた取り組みに、ティントリの導入は少なからず寄与していることは間違いない。
麻生氏は、これまでストレージの定例運用に費やしていた時間が「ほとんどゼロ」になり、ITインフラのさらなる改善とビジョン実現に向けた業務に注力できるようになったと語る。
「ティントリの導入で、われわれを悩ませていたモンスターVMが完全にいなくなりました。ゲームにたとえるならば『モンスターを倒して平和が訪れた』といったところでしょうか」そう言って藤瀬氏は笑った。

PDFダウンロード

PAGE TOP