2014年5月8日 9:35 PM
一部スペースにて Backlog にアクセスできない状態が発生しておりました (2014年5月8日)
5月8日(木) 17時8分頃 から 17時21分頃まで、および 17時29分 から 17時55分頃まで、
一部のスペースにてBacklogにアクセスできない問題が発生しておりました。
ご利用のみなさまには、大変ご迷惑をおかけして申し訳ございませんでした。
[障害の概要]
17時3分頃、一部データベースサーバの高負荷を検知しました。
その状況を監視し、アクセスしづらい状況は発生しましたが、
高負荷の状態はいったん収まったため、復旧のお知らせをいたしました。
その後も引き続き状況を監視しておりましたが、再度データベースサーバの高負荷の状態が続き、
正常にご利用いただけない状態となりましたため、17時30分頃より関連する全アプリケーションサーバを停止し、
状況を確認しつつ、順次アプリケーションサーバを起動し、17時55分頃に全てのサーバが正常な状態になっていることを確認しました。
[障害の影響範囲]
一部スペースにて、Backlog をご利用できない状況となっておりました。
共有ファイル / Subversion / Git への接続にも一部影響がでておりました。
[障害発生の経緯]
17:03 データベースサーバの高負荷を検知
17:08 Twitter でアクセスしづらい状況が発生していることを報告
17:21 いったん負荷状況が正常にもどったため Twitter で復旧報告
17:29 再度データベースサーバの高負荷を検知
17:30 関連する全アプリケーションサーバを停止し、Twitter で状況を報告
17:26 各サーバの順次起動
17:55 全てのサーバが正常な状態となっていることを確認
18:10 引き続き監視しつつ、Twitter で復旧報告
[障害発生の原因]
今回影響がありましたスペースを含む環境にて、ユーザ数やアクセス数等のご利用の増加が大きく、
また、昨日公開しました iPhone アプリからのアクセス増加とあわせ、
現在の構成では許容量を越えつつある状況となり、データベースサーバの高負荷を引き起こす結果となっておりました。
[対策]
下記緊急メンテナンスを実施し、データベースサーバの増強を行います。
この度はご迷惑をおかけして申し訳ございませんでした。
皆様に安心してご利用いただけるよう、引き続き改善を進めます。