Google Apps をご利用いただいている皆様、

米国太平洋時間2009年2月24日午前1時頃から午前4時頃（日本標準時間2009年2月24日
午後6時頃から午後9時頃）の間、一部の Google Apps Gmail ユーザー がアカウントに
アクセスできなくなる障害が発生しました。この障害は段階的に回復されたため、
障害発生期間はユーザーにより異なります。なお、この障害によるデータの損失はありません。
この障害は、定期メンテナンス中に予期せぬサービスの中断を招いたソフトウェアのバグが
原因で発生しました。この問題を招いた原因はすでに解明され、修正されました。

【詳細 】

数ヶ月前に Gmail のデータセンター機能を最適化するソフトウェアを導入しました。
この導入は、Google のコンピューティング リソースを最大限に活用し、ユーザーのために
システムの処理速度を向上することを目的としていました。

弊社のソフトウェアは、ユーザーに影響を与えずにデータセンターのメンテナンスを行えるよう
デザインされています。メンテナンスにより影響のある可能性のあるユーザー トラフィックは、
別のサービス インスタンスに振り分けられるよう設定されています。2009年2月24日、
データセンターでの定期メンテナンス中に予期せぬサービスの中断が発生しました。
今回のメンテナンスでは、ユーザーが準備のために他のデータセンターに振り分けられて
いました。しかしながら、問題の原因となったユーザーデータの保存先を最適化する新しい
ソフトウェアが、Gmail のコードに存在する潜在的なバグの引き金となりました。このバグに
より、ユーザーがデータセンターに振り分けられた際に、データセンターの過負荷が発生
しました。そして、この過負荷を緩和するためにユーザートラフィックが自動的に別の
データセンターへ振り分けられる過程で、雪崩式にデータセンターの過負荷が発生しました。
Google のエンジニアはユーザーの Gmail へのアクセスを回復するため、また、負荷を安定
させるために早急に対処しましたが、この作業には数時間を要しました。

【改善策 】

この障害が発生している間、および復旧後、多くのお客様、パートナーやアナリストの皆様に
ご意見をいただきました。いただいたご意見の概要、および、今後の改善策を以下に記します。

1. 情報システムの常識として、メンテナンス作業は週末や夜間に行うことは周知の通りです。
しかしながら、弊社のインフラストラクチャは全世界に分散しており、すべてのユーザーの営業
時間外にメンテナンスをスケジュールすることは不可能です。そのため、技術の向上により
自己修復や自己管理が可能なシステムを構築することを我々は目標としています。
弊社では信頼性の高いシステムを提供していると自負していますが、改善の余地はあると
認識しております。そこで、弊社エンジニアは今後も継続的にシステムの改善に取り組んで
まいります。

2. 障害発生時に皆様へ積極的にお客様にご連絡することは非常に重要です。障害発生時に、
早急に情報を発信することが必須であることも理解しています。そのため、障害発生時、
および、復旧後に情報を提供できる Google Apps status dashboard をまもなく開始します。
このツールを通して、障害発生時には早急に問題を認識し、復旧の目処をお知らせし、
可能な場合は問題の回避方法を提示します。また、復旧後は問題解決後にインシデント
レポートを提示し、大規模法人のお客様からの特別なリクエストがある場合は、事後分析会議
への参加要請にも応じます。

3. お客様のビジネスにとってメールシステムが重要な意味をもつこと、また、障害によりお客様
に不便を強いてしまうことを十分に理解しております。弊社においても全社員が社内システム
として Google Apps を利用し、障害によるビジネスへの影響は身にしみて実感しています
ので、長時間の障害を防ぐことはシステムにとって最重要事項と認識しています。

この度の障害発生期間の合計は3時間でしたが、復旧は段階的に行われたため、ほとんどの
ユーザーにおいて実際に影響のあった時間は3時間以下でした。弊社のエンジニアは障害の
発生を重大な課題と受け止め、開発するすべての製品に弾力性を持たせることに全力を注いで
いますが、システムを完全無欠にすることは必ずしもできるわけではありません。しかしながら、
弊社のシステムは24時間365日体制で監視されており、問題が発生した場合は早急に対応で
きるよう、常にエンジニアがスタンバイしています。また、今回のような問題の再発を防ぐための
システム改善も引き続き行ってまいります。

この度の障害により、皆様に多大なご迷惑をお掛けしましたことを深くお詫びいたします。弊社
製品を日常的にご利用くださっている皆様にとって、システム障害は大変不便なものです。弊社
の理念の一つとして、ユーザー至上主義ということを掲げている通り、今後皆様のご迷惑となる
サービスの中断が発生しない様、技術の向上とオペレーションの改善に努め、ご期待に添える
よう全力を注いでまいります。

この障害によりご迷惑をお掛けしたことを改めてお詫びするとともに、皆様の変わらぬご支援に
感謝いたします。

今後ともどうぞよろしくお願いいたします。