10月05日 (月) 11時50分頃 から 12時20分頃 まで、一部のスペースに対して、Backlogにアクセスしづらい、もしくはアクセスに非常に時間がかかる状態が発生しておりました。ご利用の皆様には、ご迷惑をおかけして大変申し訳ございませんでした。

[障害の概要]
markdown 記法で特定のデータに対して、画面表示処理に時間がかかってるケースが発生していた。不具合の暫定対応の一環で、アプリサーバの台数が一時的に減らしていたが、その状態では高負荷となっていた。

[障害の影響範囲]
一部のスペースに対して、Backlogへのアクセスに非常に時間がかかる状態が発生しておりました。Webブラウザを経由しないアクセスは正常に稼働していました。

[障害発生の経緯]

• 11:50 アプリケーションサーバからエラーメッセージを検知
• 12:00 アクセスに支障をきたす状態と判断し、Twitter で一次報告
• 12:00 順次アプリケーションサーバを再起動
• 12:10 アプリケーションサーバーのうち1台に対してリクエストが流れていなかったためリクエストを流すように変更
• 12:20 通常通りのアクセスができるようになってきたため、Twitter で復旧報告

[障害発生の原因]
markdown 記法で特定のデータに対して、画面表示処理に時間がかかってるケースが発生した際に、アプリケーションサーバーを再起動して対応を行っていたが、その過程で一時的にリクエストを受けるアプリケーションサーバーの台数が減ってアクセス負荷が発生した。

[対策]
1. 問題となるデータの修正
markdown 記法で画面表示処理に時間がかかってるデータを変更した。
※対応を完了しています。

2. サーバー増強
アプリケーションサーバーを増設した。
※対応を完了しています。

3. 不具合の改修
markdown 記法で画面表示処理に時間がかかる場合の改修を進めています。

月初というお忙しい中、Backlog をご利用しづらい状態となってしまい、誠に申し訳ございませんでした。安心してBacklogをご利用いただけるよう、改善を進めてまいります。