お客様各位
平素は格別のご高配を賜り、厚く御礼申し上げます。
2019年11月03日(日)未明に発生したシステム障害に起因したデータ集計遅延の復旧作業が完了致しましたのでご報告致します。
▶関連のお知らせ : システム障害による配信機能停止
障害発生期間
2019年11月03日(日)8:00〜12:40
影響範囲
- コミュニケーションのすべての配信、外部システム連携が停止
- 前日までのレポートが表示されなかった
※8:00〜12:30までに設定されている1ショット配信、もしくは日次設定の配信は実行されていません。
※リアルタイム計の配信は、12:40台の配信で集約されて配信されています。
障害の原因
2019年11月03日(日)の深夜に実行する日次バッチで、トランザクション中に処理が未完了のまま停止する状態が継続して集計が時間内に完了しない障害が発生しました。
この障害を検知できずに時間が経過したことが、今回の障害の原因となります。
経緯と対応
- 2019年11月03日 7時台に日次バッチが正常に完了していないことを担当者が目視で確認。
- 調査の結果、日次バッチのトランザクションが処理中のまま停止していることを確認。
- 処理を一旦終了し、それまで集計したデータをクリア。再度、集計バッチを手動実行。
今後の対策
第三者(データセンター)によるチェック体制の運営強化
日次バッチで障害対象となった処理は、第三者のエラー検知の監視対象となっていましたが今回は検知アラートが上がりませんでした。
その原因究明を行い、検知システムとして改善されるように協議を重ね、障害対応の強化に努めます。
今回の障害でご迷惑をお掛けしましたこと、深くお詫び申し上げます。
以上