2022年7月21日(水) 17時49分頃から19時00分頃まで、一部スペースにおいてBacklogの機能がご利用いただけない、あるいはスペースにアクセスしづらくなる問題が発生しておりました。
ご利用の皆様にはご迷惑をおかけし申し訳ございませんでした。

概要

2022年7月21日(水) 17時49分頃、Backlogのメンテナンスを起因として応答速度が低下するシステム障害が発生しました。
これにより、Git, Subversion, ファイル, WebDAVの応答速度の低下およびBacklogのスペースへアクセスしづらくなる問題が発生しました。
18時13分頃にGit, Subversion, ファイル, WebDAVの問題が解消しました。19時00分頃にすべての問題が解消しサービスが復旧しました。

発生期間

2022年7月21日(水) 17時49分頃 〜 2022年7月21日(水) 19時00分頃

影響範囲

2022年7月21日(水) 17時49分頃 〜 2022年7月21日(水) 18時13分頃
一部スペースにおいて、以下の機能のご利用に影響が発生しておりました。

• Git
• Subversion
• ファイル
• WebDav

 
2022年7月21日(水) 17時49分頃 〜 2022年7月21日(水) 19時00分頃
一部スペースにおいて、Backlogのスペースへアクセスに影響が発生しておりました。

• ログイン時もしくはログイン後の画面遷移でエラーページ (503エラーページ)が表示される。

発生原因

メンテナンス時のサーバー再起動を起因として、内部APIの応答速度低下およびエラー率の上昇が発生しました。その結果、アプリケーション内のリクエストの滞留によるリソース不足やデータベースの高負荷につながり、本障害が発生しました。

経緯

7月20日 17時49分 障害発生を検知
7月20日 17時56分 Backlogへの影響が継続していることを確認
7月20日 18時11分 Twitter でユーザーへ障害発生を報告
7月20日 18時12分 Git, Subversion, ファイル, WebDAVに関するサービスの再起動を実施
7月20日 18時13分 Git, Subversion, ファイル, WebDAVの復旧を確認
7月20日 18時24分 アプリケーションの段階的な再起動、並列数の調整を実施
7月20日 19時00分 問題が発生していたスペースの応答速度の改善を確認
7月20日 19時11分 Twitter でユーザーへ復旧を報告

再発防止策 (2022/07/28 追記)

サーバー再起動時のリソース不足および応答速度低下を防止するため、以下の対策を実施いたしました。

• 内部APIのリソース増設
• アプリケーション起動準備処理の調整