サーバ障害(09/03)によるサービス停止のご報告

最終更新：2012年09月20日 11:50

平素よりホスティングサービスをご利用頂き、誠にありがとうございます。
9月3日21時10分頃から発生致しましたサーバ障害により、ご迷惑をおかけし、大変申し訳ございません。

障害対応状況を以下の通りご報告いたします。

現状

復旧可能なデータの復旧が完了しましたが、一部データが破損しているお客様について、お問い合わせ対応を行っています。

FTPIDの先頭	a	b	c	d	e	j	u	v	w	y
お客様データ	○	○	○	○	○	○	○	○	○	○

障害期間中の弊社スプールに保存されたメールにつきましてはすべて再送信されました。

それ以外のメールにつきましては送信側メールサーバの仕様にしたがい送信者にエラー返信等の動作がなされております。

本障害にて、サーバー障害報告メールへの配信につきましても停止となりました為、ご登録頂いておりますお客様へのご連絡が行われませんでした事をお詫び申し上げます。

原因：
ストレージサーバ(iSCSI)とホスティングサーバの間の通信経路に不具合が発生し、ストレージサーバの書き込みが正常に行えない状態となり、ホスティングサーバとストレージサーバの両方にて、システムが稼働しない状態となりました。

対処：
データの保全を行いつつ、サービスの早期復旧を目指しました。
書き込み待ちのデータが書き込まれない状態でシステムが停止しましたので、半分のサーバでデータの不整合が発生し、データの整合性確認に多大なる時間がかかりました。

尚、FTPIDがa,b,c,d,e,j,u,v,w,y(y-Linux)で始まるお客様を対象として、レンタルサーバーサービス期間を１ヶ月延長させていただきました。

対策：

1．障害の防止
ハードウェアの構成を変更し、大規模な障害が発生しない構成としつつ、サーバ負荷によるサービス遅延の抑止に努めます。

2．障害復旧の時間短縮
ハードウェアの冗長化手法を見直し、障害の発生規模を小さくし、復旧作業の高速化を図ります。

09/03 21:10 サーバ障害を検知し初動対応を開始しました。

09/03 23:30 FTPIDがf,g,h,k,l,m,n,o,p,q,r,s,tで始まるお客様の全サービスを復旧を完了しました。

09/03 23:30 FTPIDがa,b,c,d,e,j,u,v,w,y(y-Linux)で始まるお客様の重度データ障害を確認しました。

09/04 03:00 FTPIDがa,b,c,d,e,j,u,v,w,y(y-Linux)で始まるお客様のデータ復旧作業に時間を要するため、平行してメール機能のみの暫定復旧作業中です。

09/04 06:20 FTPIDがa,b,c,d,e,j,u,v,w,y(y-Linux)で始まるお客様のメール送受信機能のみ復旧しました。

09/04 12:15 お客様サーバのデータ復旧を引き続き行っております。サイトマネージャが復旧しました。（データが少ない為、他のサーバに比べ早期に復旧となりました）

09/04 20:35 FTPIDがa,dで始まるお客様の全サービスが復旧しました。

09/04 20:50 FTPIDがwで始まるお客様のデータを除くサービスが復旧しました。

09/04 22:45 FTPIDがwで始まるお客様について、データの破損状況を再調査しています。

09/04 22:50 FTPIDがv,y(y-linux側)で始まるお客様のサービスが復旧しました。※cfmailにつきましては動作しておりません。

09/05 00:40 FTPIDがb,e,j,uで始まるお客様の全サービスが復旧しました。

09/05 09:33 FTPIDがuで始まるお客様のメール送受信に不具合が発生しておりますので、対応中です。

09/05 09:50 FTPIDがuで始まるお客様のメール認証の不具合が復旧しました。

09/05 12:30 FTPIDがcで始まるお客様の全サービスが復旧しました。

09/05 15:00FTPIDがyで始まるお客様のcfmail不具合対応中。

09/05 16:00 FTPIDがwで始まるお客様のデータ解析結果により、多量のファイルが復元可能な見込みとなりました。

09/05 18:00 FTPIDがwで始まるお客様のデータ復元作業を開始しました。※アップロード頂きましたデータは上書きしません。

09/05 19:35FTPIDがyで始まるお客様のcfmail/mysql不具合対応を完了し、現在検証作業中です。

09/05 20:00 FTPIDがcで始まるお客様のデータ再復元作業を開始しました。※アップロード頂きましたデータは上書きしません。

09/05 22:40 FTPIDがwで始まるお客様のデータ復元作業を完了しました。

09/05 23:30 FTPIDがcで始まるお客様のデータ復元作業を完了しました。

以上
サーバ・ネットワーク事業部