5月10日 (火) 頃から 6月2日 (木) 頃 まで、一部環境にて Backlog にアクセスした際に表示が遅い現象が発生していました。ご利用の皆様には、 ご迷惑をおかけして大変申し訳ございませんでした。

[障害の概要]
5月10日 (火) 頃から 6月2日 (木) 頃 まで、一部環境にて一時的にアプリケーションサーバからデータベースとのコネクションが出来ない状態が断続的に続いてました。

障害復旧のために、下記の対応を順次行いました。
1. アプリケーション側の設定チューニング
2. コネクションプール管理ライブラリの入れ替え
3. データベースのバージョンアップ・インスタンス入れ替え

[障害の影響範囲]
一部のスペースにおいて、一時的に Backlog にアクセスしづらい状況が発生していました。

[障害発生の経緯]

• 5月10日 (火) 頃から 一部環境にて一時的にアプリケーションサーバからデータベースとのコネクションを出来ない状態が断続的に続いた。
• 5月17日 (火) にコネクションプールの設定値を上げる対応を行い、一時的に症状が緩和したことを確認する。
• 5月24日 (火) にアプリケーションのリリースを行ったが症状が悪化したためロールバックを行う。アプリケーション側の設定チューニングを開始する。
• 6月2日 (木) にライブラリを入替えを行い症状の緩和を確認する。
• 6月6日 (月) にデータベースのバージョンアップを行いインスタンスを入替える。
• 6月8日 (水) アプリケーションサーバからデータベースとのコネクションを安定的に取得できており障害から復旧したことを確認する

[障害発生の原因]
アプリケーションのコネクションプールの管理上、一つの処理がつまると他の処理に影響しやすい状況だった。

[対策]
1. ライブラリの変更

コネクションプールを管理しているライブラリ入替えを実施しリソース利用効率を向上させて、他の処理に影響しないようにした。

2. アプリケーション側で発生したエラーの詳細をトレースするようにする

障害の切り分けを早くできるよう定期的に取得するデータを増やします。

ユーザの皆様には Backlog に繋がりにくい時間帯が発生しご迷惑をおかけしました、誠に申し訳ございませんでした。
対策を実施し、このような障害を早期改善できるよう努めます。