障害報告 (サービス利用不可)

2015/01/29

2015年1月28日 19時00分ごろから23時20分ごろまで下記の通り障害が発生しておりました。現在は復旧しております。

お客様のご利用が中断し、ご迷惑をおかけしたことを深くおわび申し上げます。

障害発生日時

2015年1月28日 19時00分ごろ から 23時20分ごろ (約260分)

影響範囲

My Redmine スタンダード(S) をご利用のお客様

※専用サーバでご利用のお客様には影響はありませんでした。

障害内容

My Redmineのサービスがご利用になれない状態が発生しておりました。

原因

18時から20時までの予定で、1月28日に明らかになった重大なセキュリティ脆弱性(通称「GHOST」)への対策を緊急メンテナンスとして実施しておりました。

サービス提供用のサーバすべてを対象にセキュリティパッチ適用を行っていたところ、そのうち2台のサーバがパッチ適用後に起動できない状態となりました。

また、障害が発生したサーバの復旧を優先したため、一部のサーバへのセキュリティパッチ適用作業が事前にアナウンスしたメンテナンス時間帯の範囲外となり、20時から23時20分までの間で断続的にサービスがご利用になれない状態となっておりました。

対応内容

起動できない状態となった2台のサーバ(データベースサーバ1台、ストレージサーバ1台)を破棄し、同等機能のサーバを新たに構築し直しました。

発生事項・対応内容 時系列

19:00 – 20:00 セキュリティパッチ適用後、データベースサーバ1台が起動できない状態が発生し、当該サーバに収容されているお客様へのサービスが中断。
20:00 障害が発生したデータベースサーバの再構築が完了しお客様からのアクセス再開。
復旧作業のために中断していたアップデート作業を再開。このため、メンテナンス予定時間外に断続的にサービス中断が発生。
21:15 ストレージサーバ1台でもセキュリティパッチ適用後に起動しない状態が発生。
21:40 データベースサーバと同様の障害に備えてあらかじめ用意しておいた新サーバに切り替えて運用再開。
23:20 予定していた緊急メンテナンスが完了。