お客様各位
拝啓 日頃は格段のご愛顧を賜り、厚く御礼申し上げます。
2025年11月4日に発生した弊社「XD.GROWTH」で利用するデータセンターのネットワーク障害により、
管理画面の利用およびフォーム表示ができなかった事象についてご報告いたします。
この障害により、多大なご迷惑をお掛けしましたこと、誠に申し訳なく深くお詫び申し上げます。
発生の経緯ならびに今後の再発防止対策に関しまして、以下の通りご報告させて頂きます。
■ 事象
XD.GROWTHのサーバーが配置されているデータセンターにてネットワーク障害が発生し、
外部からデータセンターへの通信が遮断されました。
■ XD.GROWTHでの影響範囲
時間：2025/11/4 13:33～15:30
内容：
・管理画面へのアクセスが待ち状態で表示されない
・ご利用会社様サイトに埋め込んだフォームの表示、回答ができない
■ 原因
XD.GROWTHが利用しているデータセンターにて、同日早朝に行ったネットワーク機器交換作業で
片側運用になっていたのを冗長構成に戻す手順のミスにより、
通信のループが発生してネットワークの混雑による高負荷となり、
外部からデータセンター全体の通信が途絶えました。
ネットワークは冗長構成で組まれておりましたが、今回冗長用の機器2台で
同時に輻輳(下記*1)が発生したことでサービスに影響が出ました。
なお、今回交換した機器は、XD.GROWTHのサーバー用ではないものが対象でした。
*1 輻輳
通信のデータ量が一時的に過剰になり、通信経路や機器(ルーター、スイッチなど) の処理能力を超えてしまう状態
■ 対応経緯
2025/11/4
13:33 交換した機器で冗長構成に戻す際に、輻輳の要因となる操作を実行
13:40 機器側での自動ロールバック適用により輻輳・高負荷が自然復旧
13:52 一部サーバーでの異常継続を確認
14:04 復旧作業として該当機器の初期化と再設定を開始
15:30 同機器の設定が完了して復旧。ただし片側運用となる。
2025/11/11
冗長化構成への復旧が完了
ループ防止機能の設定／負荷軽減の設定の見直しが完了
■ 再発防止策
・ネットワーク機器交換の作業手順書内で曖昧になっていた作業の詳細を明確化するとともに、
作業者への教育を徹底します。
・全てのネットワーク機器に、ループ防止機能の設定を行いました。
・今回の操作時に発生したような負荷を軽減できるよう、ネットワーク機器内の一部設定を見直しました。
上記対策により、再発を防止致します。
■ その他 お客様への連絡について
障害発生時の一斉メール連絡が、今回障害が発生したネットワークを使った仕組みになっており、
障害の復旧まで連絡ができない状況に陥りました。
今後は、同様ネットワーク障害発生時にも迅速にメール案内ができる代替手段を用意いたします。
以上
