2015年12月1日(火)20:23から同様の現象が発生ましたため、22:00に内容を追加変更しました。
お客様各位
平素は格別のご高配を賜り、厚く御礼申し上げます。
ライブモニター(β)において、下記の期間でデータが集計されないという不具合が発生しましたのでご報告致します。
xross dataのシステムトラブルにより、お客様に多大なご迷惑をお掛けしましたこと、誠に申し訳なく深くお詫び申し上げます。
障害発生の期間および原因について詳細な情報をご報告致します。
記
障害発生期間
一次 2015年12月01日(火) 00:05 〜 11:00
二次 2015年12月01日(火) 20:23 〜 21:30
障害内容
上記期間でライブモニター(β)の集計がされておらず、レポート画面にデータが反映されておりません。
発生原因
リアルタイム系データベースの高負荷によりデータが集計バッチ開始時間までに投入できていなかったため、バッチ処理は実行されたが集計が空回りしたことに起因します。
影響範囲
上記期間で、ライブモニター(β)のリアルタム、ユーザー、集客、アクション、商品のデータの欠落が発生しております。
ライブモニター(β)で活用するログは集計バッチ実行後に削除する仕組みとなっておりますため、過去ログが存在しません。従いまして、データの復旧ができません。
尚、アナリティクスおよびログストレージへの影響はありません。
一次で発見が遅れた原因
監視システムによるデーモンの死活監視は行っておりますが、障害発生期間中もリアルタイム系データベースは生存していたため、監視システムが検知することができませんでした。
尚、11:00にリアルタイム系データベースは自動回復し、それ以降はデータが問題なく投入されております。
今後の対策
一次障害発生に対する対策
リアルタイム(β)で集計するデータの生成監視システムを導入致します。
一次二次双方に対する対策
インフラの見直しを行い、安定稼働できるように努めます。
以上