(2021/07/28 16:00 追記)

2021年7月16日(金) 14時29分頃から15時51分頃まで、サービスにアクセスしづらくなる問題が発生しておりました。

ご利用の皆様にはご迷惑をおかけし申し訳ございませんでした。

概要

2021年7月16日(金) 14時29分頃のヌーラボアカウントの認証基盤のメンテナンスにおいて、オペレーションミスを起因としたシステム障害が発生しました。

これにより、ヌーラボアカウントを利用するユーザーは Backlog にログインできず、スペースにアクセスできない状況となりました。

その後、高負荷により一部の環境でサービスがご利用しづらい状態となりましたが、15時51分頃にすべての環境の問題を解消し、サービスが復旧しました。

経緯

7/16 14:29 ヌーラボアカウントのメンテナンス作業におけるオペレーションミスが発生
7/16 14:29 担当者が障害の状況を把握
7/16 14:31 Backlog への影響を確認
7/16 14:45 Backlog への影響を Twitter でユーザーに報告
7/16 14:59 ヌーラボアカウントのシステム復旧作業を開始
7/16 15:23 ヌーラボアカウントのシステムが復旧
7/16 15:33 Backlog の一部スペースへの影響が解消しなかったため、アプリケーションの再起動を実施
7/16 15:51 アプリケーションの再起動の結果、エラー率の数値が平常時に戻っていることを確認
7/16 16:01 すべての環境での復旧を確認できたため、Twitter で復旧報告
7/16 16:52 障害報告(本記事)を公開
7/28 16:00 障害報告に発生原因と再発防止策を追記

影響範囲

• 新プランを契約中のスペースのユーザー
• 個人でヌーラボアカウントを接続して利用しているユーザー

発生原因

サーバーを切り替える作業に際して、サーバー上のアプリケーションの起動を制御するソフトウェアが、設定不足により起動できない状態となりました。その結果、関連するアプリケーションが正常に起動できなくなり、本障害が発生しました。

再発防止策

• アプリケーションの起動を制御するソフトウェアの設定をバージョンアップして、問題となった事象を回避できるよう変更する
• 定期的なソフトウェアのアップデート状況の確認を行い、関係者でバージョンアップの適用の要否を判断するフローを整備する