美國勞動節(jié)（9月第一個星期一）周末，亞馬遜網(wǎng)絡(luò)服務(wù)中心的一個數(shù)據(jù)中心發(fā)生斷電，導(dǎo)致部分客戶數(shù)據(jù)丟失。

我們被告知，當(dāng)電源耗盡，備份生成器隨后出現(xiàn)故障時，一些虛擬服務(wù)器實(shí)例就會消失，而一些云承載的卷就會被銷毀，必須從備份中恢復(fù)（在可能的情況下）。

今天一位注冊讀者向我們透露，周六上午，亞馬遜的云業(yè)務(wù)開始在其us - east -1地區(qū)遭遇崩潰。

我們的情報人員告訴我們，他們在Amazon的云托管Elastic Block Store（EBS）中有超過1TB的數(shù)據(jù)，這些數(shù)據(jù)在宕機(jī)期間消失了：他們被告知“與您的EBS卷相關(guān)的底層硬件發(fā)生了故障，與卷相關(guān)的數(shù)據(jù)不可恢復(fù)。”

我們的讀者要求保持匿名，他能夠手動從大約8小時前方便地拍攝的EBS快照中恢復(fù)數(shù)據(jù)。沒有這個備份，他們可能無法恢復(fù)任何丟失的信息：亞馬遜的工程師們能夠恢復(fù)絕大多數(shù)被擊落的系統(tǒng)，盡管不是所有的存儲容量都能在這次硬著陸中幸存下來。

AWS工作人員告訴那些不幸的客戶，盡管他們試圖恢復(fù)丟失的比特和字節(jié)，但有些1和0被永久打亂了：“少量的卷是駐留在硬件損失的不利影響的力量。但是，由于power事件造成的損壞，這些卷的底層EBS服務(wù)器還沒有恢復(fù)。

“在進(jìn)一步嘗試恢復(fù)這些卷之后，它們被確定為不可恢復(fù)的。”

與此同時，一個客戶和技術(shù)顧問Andy Hunt，不僅在推特上抱怨說，他們的數(shù)據(jù)在斷電時被破壞，但還聲稱失敗的原因并不是迅速傳達(dá)到用戶：“AWS電源故障，備用發(fā)電機(jī)失敗，造成他們死亡EBS服務(wù)器，它帶著我們所有的數(shù)據(jù)。然后他們花了四天的時間才弄明白并告訴我們。

“提醒：云只是萊斯頓的一臺電源不好的計(jì)算機(jī)。”

記者無法聯(lián)系到AWS發(fā)言人置評。

“受損”

雖然AWS的狀態(tài)頁面上公布了一些停機(jī)時間的細(xì)節(jié)，但El Reg看到了一系列更詳細(xì)的通知，這些通知向客戶解釋了這個錯誤。

就在 11：00 PDT之前，AWS指出，“在US-East-1地區(qū)的六個可用區(qū)域之一的十個數(shù)據(jù)中心中，有一個出現(xiàn)了公用電力故障。備用發(fā)電機(jī)立即啟動，但由于我們?nèi)栽谡{(diào)查的原因，在 06：00 PDT左右開始迅速失靈。”

“這導(dǎo)致該可用性區(qū)域中7.5%的實(shí)例在 06：10 PDT之前失敗，”報告繼續(xù)說道。“在過去幾個小時內(nèi)，我們已經(jīng)恢復(fù)了大多數(shù)實(shí)例，但在可用性區(qū)域內(nèi)仍有1.5%的實(shí)例有待恢復(fù)。EBS也存在類似的影響，我們將繼續(xù)恢復(fù)EBS中的卷。在該區(qū)域啟動新實(shí)例將繼續(xù)正常工作。”

大約幾小時后，在太平洋標(biāo)準(zhǔn)時間13：30分，AWS澄清并擴(kuò)展了它的說明如下：

在 04：33 PDT，位于US-East-1地區(qū)六個可用區(qū)域之一的十個數(shù)據(jù)中心之一出現(xiàn)了公用電力故障。我們的備用發(fā)電機(jī)立即啟動，但在06：00 PDT左右開始失靈。這影響了可用性區(qū)域中7.5%的EC2實(shí)例和EBS卷。

在PDT為 07：45 時，受影響的數(shù)據(jù)中心已完全恢復(fù)供電。到 10：45 PDT時，除1%以外的所有實(shí)例都恢復(fù)了，到 12：30 PDT時，只有0.5%的實(shí)例仍然受損。自影響開始以來，我們一直在努力恢復(fù)剩余的實(shí)例和卷。少量剩余的實(shí)例和卷托管在硬件上，這些硬件受到斷電的不利影響。我們將繼續(xù)努力恢復(fù)所有受影響的實(shí)例和卷，并將通過個人健康儀表板與其余受影響的客戶進(jìn)行通信。為了立即恢復(fù)，我們建議盡可能替換任何剩余的受影響的實(shí)例和卷。

因此，根據(jù)Amazon的說法，實(shí)際上，在美國西海岸時間周六凌晨，AWS數(shù)據(jù)中心斷電，一個半小時后，備份生成器發(fā)生故障，在可用性區(qū)域內(nèi)，每10臺EC2虛擬機(jī)和EBS卷中只有1臺宕機(jī)。

幾個小時后，99.5%的受影響系統(tǒng)已經(jīng)恢復(fù)，而在那些仍然“受損”的系統(tǒng)中，有些是不可恢復(fù)的，這迫使訂閱者取出備份——假設(shè)他們保留了備份。