本文組織：

史上較大規(guī)模公有云數(shù)據(jù)遷移
數(shù)據(jù)遷移基本場景原理分析
公有云數(shù)據(jù)遷移場景分析

1、史上較大規(guī)模公有云數(shù)據(jù)遷移

 

 

圖：最后2TB的數(shù)據(jù)遷移現(xiàn)場演示，從115科技服務(wù)器遷移至阿里云的“閃電立方”中，耗時2分3秒。

6月7日，國內(nèi)領(lǐng)先的云存儲企業(yè)115科技在2018云棲大會·上海峰會上宣布，已將公司全部數(shù)據(jù)遷移至阿里云上，雙方合力完成了互聯(lián)網(wǎng)史上規(guī)模較大的公共云數(shù)據(jù)遷移，總量超過100PB。同時，整個過程僅耗時45天，創(chuàng)造了百PB級數(shù)據(jù)公共云遷移的新紀錄，演繹了一場云計算的“速度與激情”。100PB的數(shù)據(jù)有多大?相當于360億張照片，打印出來可以環(huán)繞地球200周。如果用普通辦公網(wǎng)絡(luò)上傳，要2700多年才能傳完。

在云計算普及的今天，如此大規(guī)模的上云變得更高效便捷，115科技總經(jīng)理劉睿表示：“將基礎(chǔ)設(shè)施托付給阿里云后，115科技團隊得以集中精力，聚焦頂層設(shè)計，為用戶提供更好的產(chǎn)品體驗和服務(wù)。”出于自身需求的綜合考量，115科技最終選擇了阿里云作為合作伙伴，共同完成這次史詩級的遷移。

2、數(shù)據(jù)遷移基本場景原理分析

離線遷移和在線遷移。離線遷移是最簡單的場景，或者業(yè)務(wù)可以忍受長時間停機從而將全部數(shù)據(jù)一次性整體遷移;或者業(yè)務(wù)對數(shù)據(jù)的訪問具有明顯的熱點，并且技術(shù)上可以將冷數(shù)據(jù)與熱數(shù)據(jù)剝離，這樣就可以將冷數(shù)據(jù)下線并遷移到目標端。而對于那些無法停機的業(yè)務(wù)所訪問的熱數(shù)據(jù)，由于業(yè)務(wù)對這些數(shù)據(jù)會持續(xù)的變更，所以必須采用特殊方式來遷移。具體的，可以采用存儲層快照方式對正在被訪問的數(shù)據(jù)做一次快照，然后將快照副本拷貝到目標端。由于快照生成之后，系統(tǒng)底層會自動記錄快照點之后的數(shù)據(jù)變化，所以在數(shù)據(jù)初始同步(初始傳輸數(shù)據(jù)量較大)之后，可以采用連續(xù)多次快照來實現(xiàn)數(shù)據(jù)的追趕(每次追趕數(shù)據(jù)量越來越小)，最終達到收斂狀態(tài)，也就是同步(synchronized)態(tài)，此時業(yè)務(wù)每一筆寫I/O都會被同步到目標端，實現(xiàn)本地、目標雙寫態(tài)。然后開始割接過程，將業(yè)務(wù)動態(tài)切換到目標端，從而實現(xiàn)不停機遷移。為了截獲業(yè)務(wù)下發(fā)的寫I/O請求，需要在存儲系統(tǒng)底層并聯(lián)出對應(yīng)的I/O路徑，不過對于互聯(lián)網(wǎng)后端系統(tǒng)來講，這些旁路接口一般會被預(yù)先設(shè)計好，隨時可以將寫I/O進行鏡像復(fù)制。在傳統(tǒng)企業(yè)存儲系統(tǒng)中，外置存儲系統(tǒng)一般都具有遠程卷復(fù)制功能，但是如果要實現(xiàn)多主機/存儲異構(gòu)環(huán)境的統(tǒng)一數(shù)據(jù)復(fù)制、遷移，就需要將這個旁路上升到主機端OS內(nèi)核中，而除非像AIX等UNIX系統(tǒng)原生采用諸如LVM這樣的卷管理軟件，否則這個旁路默認是不會使用的，要使用就需要加裝一個特殊驅(qū)動程序，而這需要重啟主機導致業(yè)務(wù)停機若干甚至十余分鐘。

塊層遷移和上層遷移。眾所周知，上層I/O訪問有多種方式，具體可以總結(jié)為塊I/O、文件I/O、對象I/O、數(shù)據(jù)庫I/O、其他私有方式的I/O API這四大類方式。其中，文件、對象、數(shù)據(jù)庫類訪問一般是基于塊I/O的上層封裝，所以，只要在塊層截獲I/O，不管上層封裝成什么形式，都可以實現(xiàn)數(shù)據(jù)遷移，但是塊層遷移無法感知到上層的狀態(tài)，比如某單個文件I/O底層被拆分為多筆塊I/O，塊層是無法感知的，所以會導致數(shù)據(jù)一致性問題。但是從上層截獲寫I/O的話，效率和吞吐量比較低(因為I/O時延較高)，但是卻可以更好的保障數(shù)據(jù)一致性。

通過網(wǎng)絡(luò)遷移和通過介質(zhì)搬運遷移。通過網(wǎng)絡(luò)遷移數(shù)據(jù)是比較常用的方式，特別是數(shù)據(jù)量不大的時候，可以在可接受的時間內(nèi)完成遷移。但是如果數(shù)據(jù)量特別大的話，除非你擁有裸光纖鏈路從而可以在兩端放置高帶寬傳輸、DWDM等設(shè)備，否則通過帶寬較低的專線，遷移速度就無法接受了。此時需要采用介質(zhì)搬運方式遷移，也就是現(xiàn)在業(yè)務(wù)本地將冷數(shù)據(jù)離線搬移到磁帶、光盤、硬盤JBOD等介質(zhì)中，然后直接將介質(zhì)通過物流運輸?shù)侥繕硕藢�入。介質(zhì)搬運方式智能運輸離線數(shù)據(jù)。

遷移管理。數(shù)據(jù)遷移牽扯大大量的規(guī)劃和管理操作，實際的遷移過程反而是最簡單的，之前的規(guī)劃、兼容性管理、突發(fā)事件處理、回退處理等才是遷移過程的復(fù)雜部分。只有身經(jīng)百戰(zhàn)的團隊才能積累足夠經(jīng)驗，臨危不亂，僅僅有條，能退能進。遷移過程最怕的就是卡在中間進退兩難。

3、阿里云~115公有云數(shù)據(jù)遷移場景分析

理論和實踐往往有很大的差距，一個簡單的過程，具體實現(xiàn)起來那可是受各種因素影響。由于數(shù)據(jù)規(guī)模巨大，本次遷移遇到了前所未有的挑戰(zhàn)，整個遷移過程要求整體服務(wù)不停機，客戶無感知。為了保障115業(yè)務(wù)平滑遷移，阿里云將分布在不同地區(qū)的數(shù)千臺物理機內(nèi)的數(shù)據(jù)與云上的位置進行了一一對應(yīng)的規(guī)劃，保證每一比特都有跡可循。

網(wǎng)絡(luò)資源問題。

要遷移數(shù)據(jù)，首先要打通高速通路。借助阿里云強大的資源調(diào)配能力，臨時調(diào)配了對應(yīng)的網(wǎng)絡(luò)資源來連通115原有數(shù)據(jù)中心和阿里云數(shù)據(jù)中心。

據(jù)悉，阿里云采用了專線互連的傳輸方式，建立邊界路由器和路由器接口來連接115的數(shù)據(jù)中心與阿里云VPC，采用400Gb/s的分布式在線數(shù)據(jù)傳輸服務(wù)OSSImport，將115的數(shù)據(jù)加密遷移到對象存儲OSS中。

對于115科技原有的一些無法實現(xiàn)高帶寬互聯(lián)的數(shù)據(jù)中心，不適合在線遷移的數(shù)據(jù)，阿里云推出了一種全新離線數(shù)據(jù)遷移方案——閃電立方。它長得像一臺電腦主機，可防塵防水，抗震抗壓。每套閃電立方可容納480TB數(shù)據(jù)，在數(shù)據(jù)安全方面滿足企業(yè)嚴格的要求。有了閃電立方的快速離線遷移能力，115科技的上云時長從預(yù)計的4個月大幅縮短到了45天。

 

 

6月初的上海云棲大會上，阿里云現(xiàn)場還原了用閃電立方遷移115數(shù)據(jù)中心的全過程：2分鐘內(nèi)就完成了2TB數(shù)據(jù)的安全傳輸過程，每塊硬盤專項分離保護，并實施專人專車的運輸保障，讓離線傳輸同樣專業(yè)、高效、安全。

與此同時，阿里云推出了閃電立方mini版，可提供單臺40TB的數(shù)據(jù)遷移能力，圖形化界面，引導式服務(wù)體驗。在數(shù)據(jù)安全方面，閃電立方mini版同樣提供端到端的數(shù)據(jù)加密服務(wù)和數(shù)據(jù)一致性校驗。不同的是，閃電立方mini版可以自行部署，再由專業(yè)的物流運輸至阿里云的數(shù)據(jù)中心，實現(xiàn)離線數(shù)據(jù)的快速上云。

 

 

割接影響。

為了實現(xiàn)業(yè)務(wù)平滑過渡，對于在線數(shù)據(jù)，采用跨網(wǎng)絡(luò)初始遷移+收斂同步，一直到最后一步的原有系統(tǒng)+阿里云雙活狀態(tài)，最后將業(yè)務(wù)透明割接到阿里云。這種云雙活形式很值得一些企業(yè)數(shù)據(jù)中心借鑒，一腳踩在云上，一腳踩在地上，借助云端作為對端數(shù)據(jù)中心。

快慢機問題。

在遷移過程中，有不少未落入計劃內(nèi)的突發(fā)問題。比如，115科技數(shù)據(jù)中心中存在一些服役時間很長的系統(tǒng)，其內(nèi)部硬盤的響應(yīng)速度較慢，導致整個系統(tǒng)響應(yīng)快慢不一，這就會打亂原本的時間計劃。

遷移和恢復(fù)并行問題。

如果等待全部數(shù)據(jù)遷移完畢，再在目標端導入、上線業(yè)務(wù)，則由于大批量數(shù)據(jù)的遷移，耗時非常長。在系列文章《大話流水線》中，冬瓜哥詳細分析了流水線工作原理，如果將一個慢速步驟拆分成多個小步驟，就可以實現(xiàn)并行，這個過程雖然增加了時延，但是卻提升了吞吐量。本次阿里云~155數(shù)據(jù)遷移就是采用這種小批量遷移、導入、上線三步流水線并行工作，從而極大降低了項目周期。

數(shù)據(jù)一致性問題。

我們經(jīng)常會遇到從網(wǎng)絡(luò)上下載了一個壓縮包，結(jié)果打開提示錯誤的情況，這就是數(shù)據(jù)校驗出錯導致。100PB的數(shù)據(jù)，如果不采取措施，出錯數(shù)據(jù)的量是相當大的。阿里云本次遷移對每個文件做端到端的SHA-1校驗，避免出現(xiàn)數(shù)據(jù)不可用或者不一致的情況。

傳輸效率問題

在有限的帶寬和時間下，提升傳輸效率是很重要的一步。本次遷移采用源端重刪技術(shù)。同時，阿里云存儲研發(fā)團隊在10天內(nèi)設(shè)計了11個功能來進一步提升傳輸效率，包括SHA-1校驗邊算邊傳、WORM(一寫多讀禁止覆蓋))、HEIF與矢量圖片轉(zhuǎn)換支持等特性，用于承載115科技的非結(jié)構(gòu)化數(shù)據(jù)如文檔、圖片、視頻的業(yè)務(wù)。“這是我人生中節(jié)奏最快的一個項目”，參與項目的阿里云工程師表示。

綜上所述，本次阿里云~115科技的數(shù)據(jù)大遷移，作為史上較大數(shù)據(jù)量的公有云數(shù)據(jù)遷移項目，再一次體現(xiàn)了阿里云的整體技術(shù)實力、資源調(diào)配能力、項目管理能力。擁有這樣能力的IT基礎(chǔ)設(shè)置團隊，業(yè)務(wù)上云基本是沒有什么后顧之憂了。

標簽： 安全 大數(shù)據(jù) 服務(wù)器 公有云 互聯(lián)網(wǎng) 數(shù)據(jù)庫 網(wǎng)絡(luò) 云計算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。