お客さまサポート 
メンテナンス情報
件名:
【8/2】Master'sONEビジネスインターネット接続サービス(UTMタイプ) インターネット通信不安定事象について
災害種別
故障情報
最新更新日時:
2021.08.13 / 09:00:00

対応履歴:


8/13 09:00
現在サービスは回復しておりますが、昨晩一部のシステム基盤に不安定な状況がございましたため、引き続き重点監視してまいります。


8/12 11:30
システム基盤は通常の状態に戻っており、最終的な調整を完了致しました。
従いまして11時30分をもって、「サービス回復」といたします。

長期にわたりご不便ご迷惑をおかけしましたことを心よりお詫び申し上げます。

なお、故障原因につきましては現在調査を行っており、今後原因を特定し再発防止策を実施してまいります。


8/11 17:45
想定外に資源を使用していた仮想サーバや仮想ルータは、すべて再起動/再構築を完了しております。

現時点ではシステム基盤の高負荷状態は解消され、通常の状態に戻っております。

レスポンスタイム、スループット等についてモニタリングしておりますが、これらの結果から
安定的にお客様にお使いいただける状態になっていると判断しております。

引き続き、最終的なシステム基盤の調整を実施してまいります。

次回のご報告は12日11時頃を予定しております。


8/11 11:00
想定外に資源を使用していた仮想サーバや仮想ルータの再起動/再構築を概ね終了しており、午前中に作業を完了する予定です。

現時点ではシステム基盤の高負荷状態は解消され、通常の状態に戻っております。

レスポンスタイム、スループット等についてモニタリングしておりますが、これらの結果から
安定的にお客様にお使いいただける状態になっていると判断しております。

引き続き、システム基盤の点検を実施してまいります。

次回のご報告は17時頃を予定しております。



8/10 20:10
サービスをご提供しているシステム基盤上の一部仮想サーバで想定外の資源を使用しているものがあり、
現在それらの再起動等の作業を継続実施しております。


現時点では、応答遅延が低減し安定的にお客様にお使いいただける状態になっております。


今後の予定といたしましては、8月12日午前を目途にシステム基盤の調整を完了させ、
「サービス回復のご案内」をさせていただきたいと考えております。


最新の情報は8月11日午前中にこちらに掲載いたします。なお、一部のお客様には代替サービス等を
ご案内させていただきましたが、今後の予定や状況のご説明は個別にご連絡させていただきます。


8/10 15:30
この度は不具合が長期化しお客様には大変なご不便とご迷惑をおかけしており大変申し訳ありません。


今回の不具合が長期化しております原因、今後の見通しについてご説明させていただきます。


サービスをご提供している基盤は物理サーバ上に仮想サーバ技術を展開して構成し、利用しておりますが、
一部の仮想サーバが想定外に基盤の資源(CPUの能力やメモリ等)を補足してしまったことから、
基盤の高負荷を招きました。
このため保守操作のレスポンスが遅延もしくは一時的に制御不能となり、システムの状況把握や
対応作業の一つ一つに非常に時間を費やしました。また、一つの対処を実施するとその影響が
他の物理/仮想サーバに影響し、さらに状態が把握できない状態が繰り返されました。


現在の状況ですが、8月8日に多数ある仮想サーバのうち、想定外の資源を使っているものを特定し、
サービスへの影響を避けるために重点監視しながら個別にひとつづつ再起動や再作成する措置を講じたところ、
徐々に基盤全体の高負荷状態が落ち着き始め、現在、通常に近い状態に近づきつつあります。
引き続きこの再起動再作成作業を実施しております。


この再起動再作成作業をすべて実施し、システムの状況を判断し、通常レベルまで安定したと
判断できるのは12日(木曜日)を予定しております。


8/10 10:20
高負荷となっておりました基盤設備の状況ですが、若干の改善傾向はみられるものの、
依然通常時と比較すると高負荷の状況となっております。
現在も引き続き安定化に向けた対処策を実施しております。
早期の回復をご案内ができますよう努めてまいります。
長期間に渡り、大変ご迷惑をおかけしており、心よりお詫び申し上げます。


8/9 17:45
現在も高負荷状態の解消に向けた対処を継続実施いたしており、改善傾向は
見られるものの、未だ不安定な状態が続いております。
早期の安定化および回復を目指して対応を続けて参ります。
長期間に渡り 大変ご迷惑をおかけしており、心よりお詫び申し上げます。


8/9 10:30
本日も引き続き高負荷状態のサービス提供基盤の安定化に向けた
対処を実施してまいります。
大変ご迷惑をおかけしております。心よりお詫び申し上げます。


8/8 18:00
サービスご提供のための基盤が引き続き高負荷状態にあり、解消のための
対処を本日も実施しておりますが現時点でも解消に至っておらず、大変申し訳あ
りません。
引き続き事態の解消に向け対応を実施してまいります。


8/8 12:00
ご迷惑をおかけしているサービス基盤の高負荷状態解消に向けた対処を実施しておりますが、
本日も未だ解消には至っておりません。
お使いいただいているお客様には、影響が長期に渡り継続しておりまして大変申し訳ございません。
早期の安定化および回復を目指して鋭意対応継続いたします。


8/7 18:00
ご迷惑をおかけしているサービスをご提供している基盤は高負荷状態が継続しており、
不安定な状況が続いております。
お使いいただいているお客様には、遅延などの影響が長期に渡り継続しておりまして
大変申し訳ございません。
早期の安定化および回復を目指して鋭意対応中でございます。


8/7 11:30
現在もサービスご提供のための基盤全体が不安定な状態となっております。
早期の安定化を目指して対応中でございます。


8/7 09:20
この度の不具合では長期間に渡り大変ご迷惑ご不便をおかけしており、
心よりお詫び申し上げます。
現在もサービスご提供のための基盤全体が不安定な状態となっております。
引き続き早期の安定化を目指して対応しております。


8/7 00:30
この度の不具合では大変ご迷惑ご不便をおかけしておりお詫び申し上げます。
現在もサービスご提供のための基盤(プラットフォーム)全体が引き続き不安定な
状態となっております。
ベンダーを交えログ解析実施などの対処も実施しておりますが、現時点でも復旧
の目途が立っておりません。
毎回同様な記述となっており心苦しい限りですが引き続き早期の回復を目指して
参ります。


8/6 22:00
現在も断続的に基盤全体が不安定な状況が継続しておりご迷惑をおかけしております。
継続して対処を実施しております。


8/6 20:00
現在も断続的に基盤全体が不安定な状況が継続しておりご迷惑をおかけしております。
継続して対処を実施しております。


8/6 19:00
現在も断続的に基盤全体が不安定な状況が継続しておりご迷惑をおかけしております。
継続して対処を実施しております。


8/6 18:00
先ほど更に不安定な状況が発生したとお伝えしておりますが、
現在その解消に向け対応中です。


8/6 15:30
現在不安定な状況でご提供しておりますが、更に不安定な状況になっており、
今までお使いいただいていたお客様に影響が発生している可能性がございます。
大変申し訳ありません。


8/6 13:30
ご迷惑をおかけしているサービスをご提供している基盤(プラットフォームという
意味合いで基盤と表現しています)は継続して高い使用率となっており、引き続き
不安定な状況となっております。
このためお使いいただいているお客様に遅延などの影響が継続しており申し訳
ありません。
現在 お客様に影響のない状態を担保し、基盤上の仮想サーバの再起動などを
実施しております。また、不安定状況を解消するための基盤増設の準備を実施し
ており、明日(7日中)には組み込む予定を立てております。
なお、代替基盤設備を準備しておりますが今しばらく時間がかかる見込みです。


8/6 13:20 回復作業を継続するとともに、代替基盤設備構築を開始いたしました。


8/6 11:20
現在の状況です。ご迷惑をおかけしているサービスをご提供している基盤は
高負荷状態が継続しており引き続き不安定な状況となっております。
このためお使いいただいているお客様に遅延などの影響が継続しており申し訳ありません。
現在不安定状況を解消するための基盤増設の準備を実施しております。


8/5 22:00
この度は大変ご迷惑をおかけしており、心よりお詫び申し上げます。
現在の状況をご説明させていただきます。


この度ご迷惑をおかけいたしましたサービスをご提供する基盤のハードウエア故障を
起因としてその上に展開している仮想サーバー群の処理が不安定になりました。最初に
故障したハードウエアの交換措置を実施致しましたが、その後も不安定な事象が解消せず、
継続してハードウエアの切り離しと組み込みを実施し、仮想サーバー群の安定化を図りました。
現状一部仮想サーバは安定しているものもありますが、通常のパフォーマンスが出ない
仮想サーバもあり、回復には至っておりません。基盤自体の使用率も高止まり傾向にある
ことから、明日以降使用率軽減のためハードウエアリソースを追加する予定となっております。


引き続き故障原因の調査とサービス回復に努めさせていただきますので何卒よろしく
お願いいたします。


8/5 20:00 回復措置を継続中でございます。


8/5 19:00 回復措置を継続中でございます。


8/5 18:00 回復措置を継続中でございます。


8/5 17:00 回復措置を継続中でございます。


8/5 16:00 回復措置を継続中でございます。


8/5 15:00 回復措置を継続中でございます。


8/5 14:00 回復措置を継続中でございます。


8/5 13:00 回復措置を継続中でございます。


8/5 12:00 回復措置を継続中でございます。


8/5 11:00 回復措置を継続中でございます。


8/5 10:00 回復措置を継続中でございます。


8/5 09:15 回復措置を継続中でございます。


8/5 07:45 回復措置を継続中でございます。


8/5 06:45 回復措置を継続中でございます。


8/5 05:45 回復措置を継続中でございます。


8/5 04:45 回復措置を継続中でございます。


8/5 03:45 回復措置を継続中でございます。


8/5 02:45 回復措置を継続中でございます。


8/5 01:45 回復措置を継続中でございます。


8/5 00:45 回復措置を継続中でございます。


8/4 23:45 回復措置を継続中でございます。


8/4 22:45 回復措置を継続中でございます。


8/4 21:40 回復措置の一環で一部のお客さまに影響が発生しました。若干改善傾向は見られるものの、まだ回復しておりませんので、引き続き措置を実施してまいります。


8/4 20:25 現在復旧作業を継続実施しております。


8/4 18:50 現在、機能の回復作業を実施中ですが、並行して代替サービスへの移設を検討しております。


8/4 17:50 機能の回復に向けて継続対応中。


8/4 16:50 機能の回復に向けて継続対応中。


8/4 15:30 機能の回復に時間がかかっております。大変申し訳ございませんが、ご理解のほどよろしくお願いいたします。


8/4 13:56 不安定機器の再起動を実施済み。機能の回復確認中。


8/4 13:09 不安定機器の再起動を実施いたしました。一部のお客様のご利用に30分程度の影響がでます。大変申し訳ございませんが、ご理解のほどよろしくお願いいたします。


8/4 12:00 現在、調査継続中です。


8/4 11:00 現在、調査継続中です。


8/4 10:00 現在、調査継続中です。


8/4 09:00 メーカーと連携して調査及び対処策の検討を行っております。


8/4 06:00 仮回復後 、通信不安定事象が発生しております。


8/3 22:33 仮回復いたしました。


8/2 14:00 引き続き、状況の調査中となります。


8/2 13:30 現在、状況の調査中となります。


8/2 12:38 12:10頃よりインターネット向けの通信不可事象が発生しております


故障発生日時:


 2021年8月2日 12:10頃