9月29日 (木) 14時20分頃 から 14時50分頃 まで、一部のスペースに対して、Backlogにアクセスしづらい状態が発生しておりました。ご利用の皆様にはご迷惑をおかけして大変申し訳ございませんでした。

[障害の概要]

9月29日 (木) 14時20分頃 フェイルオーバー後に新しいマスターデータベースに接続出来ていない状態が発生いたしました。 対応を行い、14時50分頃復旧したことを確認しました。

なお本障害は、同日のBacklog新UIベータリリースとは関係ない、別の障害となります。

[障害の影響範囲]

一部のスペースに対して、Backlogにアクセスしづらい状態が発生しておりました。

[障害発生の経緯]
14:20 データベースサーバのフェイルオーバーを検知
14:23 アプリケーション側でエラーを検知、調査を開始する
14:42 データベースサーバへの書込エラーが起きていることを確認
14:46 アクセスに支障をきたしていたため、Twitter で一次報告
14:47 アプリケーションサーバの再起動を実施
14:50 すべてのアプリケーションサーバの再起動を終え、正常に動作していることを確認
15:14 通常通りのアクセスができるようになったため、Twitter で復旧報告

[障害発生の原因]
データベースのフェイルオーバーが実施されたが、アプリケーション側でDNSをキャッシュしており新しいマスターデータベースに接続出来ていない状態だった。

[対策]
1. データベースサーバのフェイルオーバー時の検知方法を見直し

2. アプリケーションの DNS キャッシュ時間の調整

Backlog をご利用しづらい状態が続いて誠に申し訳ございません。安心してBacklogをご利用いただけるよう、改善を進めてまいります。