作者：王洋

不久前，我做過(guò)一個(gè)關(guān)于企業(yè)自動(dòng)化運(yùn)維落地經(jīng)驗(yàn)及工具對(duì)比的分享和介紹，其中很多場(chǎng)景是我根據(jù)實(shí)踐經(jīng)驗(yàn)對(duì)一線互聯(lián)網(wǎng)公司和傳統(tǒng)行業(yè)的做法進(jìn)行的對(duì)比闡述：如何將自動(dòng)化運(yùn)維形成一個(gè)整體?如何從方法論的角度去理解自動(dòng)化運(yùn)維、去建設(shè)自動(dòng)化運(yùn)維?該文引發(fā)很多讀者的感觸、思考。

本文通過(guò)整理運(yùn)維愛(ài)好者們提出的一系列自動(dòng)化運(yùn)維落地的具體問(wèn)題及討論結(jié)果，總結(jié)成文，供大家參考學(xué)習(xí)。
 

一、自動(dòng)化運(yùn)維平臺(tái)風(fēng)險(xiǎn)

問(wèn)題1：自動(dòng)化運(yùn)維風(fēng)險(xiǎn)如何控制?
 

一是所有自動(dòng)化功能模塊的本質(zhì)都是落到代碼層面，那么就需要對(duì)自動(dòng)化運(yùn)維功能的代碼進(jìn)行測(cè)試，適用于開(kāi)發(fā)項(xiàng)目管理的流程;

二是對(duì)于一些刪除或者修改類的操作，需要考慮double check和回滾方案，對(duì)于不能回滾的操作不能做(這點(diǎn)其實(shí)和手工操作是沒(méi)有區(qū)別的);

三是灰度策略，可以采用灰度的方式來(lái)驗(yàn)證自動(dòng)化操作結(jié)果和預(yù)期是否一致，如果一致則繼續(xù)進(jìn)行，如果不一致則需要進(jìn)行回滾;

四是監(jiān)控配合，監(jiān)控系統(tǒng)能夠及時(shí)發(fā)現(xiàn)有問(wèn)題的操作并及時(shí)報(bào)警;

五是權(quán)限管理，對(duì)于能夠操作自動(dòng)化運(yùn)維平臺(tái)的，需要有嚴(yán)格的權(quán)限控制;

六是通過(guò)API對(duì)接的系統(tǒng)，需要有鑒權(quán)機(jī)制。
 

問(wèn)題2：自動(dòng)化運(yùn)維平臺(tái)的安全和權(quán)限如何控制?
 

個(gè)人認(rèn)為應(yīng)該注意以下幾個(gè)方面：
 

•  對(duì)于Web頁(yè)面操作的通過(guò)AD域加角色的方式進(jìn)行權(quán)限控制;

•  對(duì)于接口調(diào)用的情況需要有相應(yīng)的權(quán)限模塊;

•  對(duì)于運(yùn)維平臺(tái)自身，要防止平臺(tái)在未授權(quán)的情況下對(duì)生產(chǎn)資源進(jìn)行刪除和修改操作;

•  定期對(duì)平臺(tái)進(jìn)行安全掃描，掃描平臺(tái)自身的漏洞。
 

二、自動(dòng)化運(yùn)維平臺(tái)規(guī)劃

問(wèn)題1：自動(dòng)化運(yùn)維的建設(shè)應(yīng)該如何規(guī)劃?
 

這個(gè)問(wèn)題沒(méi)有固定的答案，分幾步需要結(jié)合具體情況，最終的目的是要實(shí)現(xiàn)所有的端到端的交付。一般來(lái)說(shuō)大體可以分為以下幾個(gè)階段：
 

•  解決目前最急切的痛點(diǎn)(這里一般是指運(yùn)維團(tuán)隊(duì)自身最大的痛點(diǎn)或者擠壓已久的沒(méi)有解決的其他團(tuán)隊(duì)提出的問(wèn)題);

•  收集IT部門其他組(開(kāi)發(fā)和測(cè)試團(tuán)隊(duì))的自動(dòng)化運(yùn)維需求并內(nèi)部排期解決;

•  在解決了前兩者點(diǎn)上的問(wèn)題之后，將各個(gè)點(diǎn)串聯(lián)起來(lái)，消除點(diǎn)與點(diǎn)之間人肉工作;

•  在初步形成的自動(dòng)化運(yùn)維鏈條上查漏補(bǔ)缺，形成正向反饋鏈條。
 

問(wèn)題2：自動(dòng)化運(yùn)維建設(shè)中，標(biāo)準(zhǔn)化的規(guī)范如何制定?
 

標(biāo)準(zhǔn)化需要結(jié)合公司的具體情況，一般而言有以下幾個(gè)方面需要進(jìn)行標(biāo)準(zhǔn)化(供參考)：
 

•  服務(wù)器Pod標(biāo)準(zhǔn)化，一個(gè)Pod放幾臺(tái)機(jī)器，如何連接;

•  物理機(jī)機(jī)型，計(jì)算密集型、內(nèi)存型、IO密集型還是存儲(chǔ)型，需要將不同廠商的機(jī)型歸納為幾個(gè)標(biāo)準(zhǔn)機(jī)型;

•  操作系統(tǒng)標(biāo)準(zhǔn)化，包括操作系統(tǒng)版本、操作系統(tǒng)內(nèi)核參數(shù)、盤符路徑等;

•  軟件安裝標(biāo)準(zhǔn)化，包括軟件版本、安裝路徑、日志路徑、日志切割、參數(shù)調(diào)優(yōu)等;

•  軟件部署標(biāo)準(zhǔn)化，雙節(jié)點(diǎn)不能部署在同一臺(tái)物理機(jī)和同一個(gè)機(jī)柜上，避免主機(jī)和機(jī)柜級(jí)故障。
 

問(wèn)題3：在實(shí)際的運(yùn)維環(huán)境中，我們?cè)撊绾沃贫ㄒ惶淄暾�的自�?dòng)化運(yùn)維管理方案，用來(lái)支撐自動(dòng)化運(yùn)維工作?
 

制定自動(dòng)化運(yùn)維方案，需要考慮以下幾個(gè)方面：
 

•  明確制定自動(dòng)化運(yùn)維方案的目的，這是制定自動(dòng)化運(yùn)維方案的指導(dǎo)思想;

•  明確自動(dòng)化運(yùn)維方案的服務(wù)對(duì)象角色;

•  明確不同的對(duì)象角色在自動(dòng)化運(yùn)維過(guò)程中的抓手分別是什么;

•  明確自動(dòng)化運(yùn)維方案落地過(guò)程中需要注意的安全問(wèn)題(例如權(quán)限細(xì)化、調(diào)用鑒權(quán)、操作審計(jì)等);

•  通過(guò)調(diào)研的方式進(jìn)一步了解其他同事的運(yùn)維需求;

•  在方案里明確建設(shè)自動(dòng)化運(yùn)維平臺(tái)計(jì)劃分幾個(gè)階段，將需求分散在這幾個(gè)階段里;

•  明確將自動(dòng)化運(yùn)維方案落地為自動(dòng)化運(yùn)維平臺(tái)時(shí)的具體方式(自研、外購(gòu)還是基于外購(gòu)進(jìn)行二次開(kāi)發(fā));

•  在自動(dòng)化運(yùn)維方案中明確平臺(tái)在使用過(guò)程中的正向反饋流程。
 

問(wèn)題4：自動(dòng)化運(yùn)維的建設(shè)，需要分幾階段進(jìn)行?應(yīng)如何做規(guī)劃?
 

這個(gè)問(wèn)題沒(méi)有固定的答案，分幾步需要結(jié)合具體情況，最終的目的是要實(shí)現(xiàn)所有端到端的交付。一般來(lái)說(shuō)大體可以分為以下幾個(gè)階段：
 

•  解決目前最急切的痛點(diǎn);

•  收集IT部門其他組(開(kāi)發(fā)和測(cè)試團(tuán)隊(duì))的自動(dòng)化運(yùn)維需求;

•  在解決了前兩者點(diǎn)上的問(wèn)題之后，將各個(gè)點(diǎn)串聯(lián)起來(lái)，消除點(diǎn)與點(diǎn)之間人肉工作;

•  在初步形成的自動(dòng)化運(yùn)維鏈條上查漏補(bǔ)缺。
 

三、CMDB數(shù)據(jù)采集問(wèn)題

問(wèn)題1：CMDB建設(shè)過(guò)程中，如何實(shí)現(xiàn)自動(dòng)發(fā)現(xiàn)?
 

CMDB的自動(dòng)發(fā)現(xiàn)一般基于以下幾種方式：
 

•  通過(guò)調(diào)用被采集方軟件的API接口獲取相關(guān)信息，例如VMware、EMC存儲(chǔ)等;

•  通過(guò)某種協(xié)議(公有或者是私有協(xié)議)，例如SNMP去獲取相關(guān)配置信息;

•  通過(guò)在主機(jī)上執(zhí)行命令，并對(duì)結(jié)果進(jìn)行處理，例如抓取主機(jī)上中間件的信息;

•  通過(guò)執(zhí)行中間件的命令來(lái)獲取信息。
 

自動(dòng)化發(fā)現(xiàn)一般是通過(guò)以上幾種方式的組合來(lái)實(shí)現(xiàn)自動(dòng)發(fā)現(xiàn)的目的。
 

問(wèn)題2：自動(dòng)化運(yùn)維的建設(shè)中如何選擇CMDB自動(dòng)收集數(shù)據(jù)?
 

這個(gè)問(wèn)題有點(diǎn)大了，具體到數(shù)據(jù)收集這個(gè)點(diǎn)上而言，CMDB的數(shù)據(jù)要想收集全面，需要從兩個(gè)方面去考慮：一是CMDB采集工具自身的自動(dòng)化采集能力，二是有些數(shù)據(jù)需要通過(guò)流程的方式來(lái)督促人工錄入，例如業(yè)務(wù)系統(tǒng)名稱、業(yè)務(wù)系統(tǒng)運(yùn)維負(fù)責(zé)人、開(kāi)發(fā)負(fù)責(zé)人、測(cè)試負(fù)責(zé)人這些信息自動(dòng)采集工具是采集不到的，需要人工維護(hù)。
 

如果需要建設(shè)CMDB系統(tǒng)，有三種思路：
 

•  完全自研，這就要求團(tuán)隊(duì)的研發(fā)能力比較強(qiáng)，并且有人對(duì)ITIL的流程比較了解，自動(dòng)采集實(shí)現(xiàn)較慢;

•  直接采購(gòu)商業(yè)的CMDB產(chǎn)品，好處是快速上線、自動(dòng)采集能力強(qiáng)，缺點(diǎn)是有些需求可能無(wú)法直接滿足，需要定制開(kāi)發(fā);

•  基于開(kāi)源的產(chǎn)品做二次開(kāi)發(fā)，例如基于IOP，但是自動(dòng)發(fā)現(xiàn)能力還是要自己實(shí)現(xiàn)，優(yōu)勢(shì)是有一個(gè)基本可用的框架。
 

問(wèn)題3：如何同時(shí)保證CMDB數(shù)據(jù)的實(shí)時(shí)性與一致性?
 

•  實(shí)時(shí)性：保證CMDB數(shù)據(jù)的實(shí)時(shí)性需要依賴CMDB工具的自動(dòng)化采集能力;

•  一致性：一致性需要流程控制和定期的數(shù)據(jù)審計(jì)操作，數(shù)據(jù)審計(jì)操作可以借助CMDB平臺(tái)的能力來(lái)實(shí)現(xiàn)。
 

四、運(yùn)維工具選型

問(wèn)題1：自動(dòng)化運(yùn)維工具選擇時(shí)，應(yīng)該對(duì)哪些因素進(jìn)行考量?
 

在選擇自動(dòng)化運(yùn)維工具時(shí)筆者認(rèn)為應(yīng)該從以下幾個(gè)方面考量：
 

•  自動(dòng)化運(yùn)維工具的成熟度，即在業(yè)界的受眾面。這里無(wú)論是對(duì)商用的還是開(kāi)源的都可以從這個(gè)角度進(jìn)行評(píng)估;

•  自動(dòng)化運(yùn)維工具的功能能否滿足運(yùn)維需求;

•  如果是選擇開(kāi)源的自動(dòng)化運(yùn)維工具還要考慮工具的技術(shù)棧和公司人員的技術(shù)棧是否匹配;

•  自動(dòng)化運(yùn)維工具在安全方面是否有良好的支持;

•  自動(dòng)化運(yùn)維工具在工作過(guò)程中對(duì)主機(jī)性能的影響，尤其還要測(cè)試在并發(fā)大的時(shí)候，對(duì)運(yùn)維工具平臺(tái)自身服務(wù)端的壓力;

•  還要考慮選擇的自動(dòng)化運(yùn)維工具是否滿足公司后續(xù)技術(shù)棧的發(fā)展需要。
 

問(wèn)題2：自動(dòng)化運(yùn)維建設(shè)中的運(yùn)維工具的規(guī)劃和集成問(wèn)題?
 

目前而言，大多數(shù)公司的確會(huì)存在這樣的問(wèn)題。在我看來(lái)問(wèn)題之所以會(huì)存在，最主要原因是在前期缺乏一個(gè)宏觀的整體規(guī)劃，各個(gè)組織各自為政，沒(méi)有統(tǒng)籌管理。
 

那么對(duì)于已經(jīng)存在的現(xiàn)狀要如何處理呢?在我看來(lái)要做以下幾件事：
 

•  需要成立一個(gè)治理小組，成員包括各個(gè)存在系統(tǒng)的Owner，然后由一位領(lǐng)導(dǎo)擔(dān)任組長(zhǎng);

•  各個(gè)系統(tǒng)Owner闡述當(dāng)初建設(shè)這個(gè)系統(tǒng)的背景以及該系統(tǒng)現(xiàn)在能解決什么問(wèn)題、還有什么問(wèn)題沒(méi)有解決;

•  依據(jù)第二步的討論結(jié)果進(jìn)行合并工作，將能合并的系統(tǒng)進(jìn)行合并，不能合并的但是功能有重疊的進(jìn)行數(shù)據(jù)打通，統(tǒng)一進(jìn)行輸出;

•  后續(xù)新建系統(tǒng)時(shí)需要由治理小組統(tǒng)一規(guī)劃，避免類似事情再發(fā)生。
 

問(wèn)題3：自動(dòng)化運(yùn)維產(chǎn)品如何選擇?
 

自動(dòng)化運(yùn)維涉及的面非常廣，一般大家談到的包括資源的自助服務(wù)、監(jiān)控、調(diào)度任務(wù)、應(yīng)用發(fā)布等。那么在選擇產(chǎn)品的時(shí)候需要考慮以下幾點(diǎn)：
 

•  梳理清楚自身的痛點(diǎn)，即目前最需要解決的問(wèn)題是什么;

•  規(guī)劃：計(jì)劃在3年內(nèi)做到什么樣的效果;

•  所選自動(dòng)化運(yùn)維平臺(tái)的產(chǎn)品成熟度(同行業(yè)案例多少);

•  自動(dòng)化運(yùn)維平臺(tái)的開(kāi)發(fā)程度，能否進(jìn)行二次開(kāi)發(fā)或者是支持功能拓展;

•  平臺(tái)的技術(shù)框架是否是主流的技術(shù)框架;

•  通過(guò)試用來(lái)測(cè)試和本地實(shí)際情況的結(jié)合程度。
 

五、其他
 

問(wèn)題1：AIOps和自動(dòng)化運(yùn)維是什么關(guān)系?
 

AIOps是自動(dòng)化運(yùn)維的一部分，是這幾年隨著AI火爆后開(kāi)始出現(xiàn)的領(lǐng)域，自動(dòng)化涉及運(yùn)維操作的方方面面，AIOps僅僅是將AI技術(shù)應(yīng)用到現(xiàn)有的Ops平臺(tái)上，一般同時(shí)都會(huì)結(jié)合大數(shù)據(jù)技術(shù)一起使用。
 

問(wèn)題2：是否可以結(jié)合當(dāng)前的一些先進(jìn)技術(shù)，如云計(jì)算、大數(shù)據(jù)等，使得自動(dòng)化運(yùn)維更加高效、智能?
 

結(jié)合云計(jì)算能力，可以快速擴(kuò)容自動(dòng)化運(yùn)維平臺(tái)的服務(wù)能力;結(jié)合大數(shù)據(jù)和人工智能技術(shù)，可以使自動(dòng)化運(yùn)維平臺(tái)提供更強(qiáng)大的功能，就是現(xiàn)在很多人開(kāi)始關(guān)注的AIOps。
 

風(fēng)險(xiǎn)需要人工來(lái)審核，比如基于大數(shù)據(jù)和人工智能技術(shù)對(duì)某種行為進(jìn)行自動(dòng)操作，那么在剛開(kāi)始使用這個(gè)技術(shù)的時(shí)候需要人工進(jìn)行double check，并且對(duì)劃定優(yōu)先級(jí)和重要性級(jí)別。對(duì)于一個(gè)低優(yōu)先級(jí)和低重要級(jí)的可以自動(dòng)處理。
 

問(wèn)題3：在運(yùn)維的關(guān)注點(diǎn)上，傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)有哪些不同?
 

傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)在運(yùn)維環(huán)節(jié)的不同在以下幾個(gè)方面：
 

•  運(yùn)維代碼化：傳統(tǒng)行業(yè)的運(yùn)維更多的還是停留在人工操作運(yùn)維平臺(tái)的層面甚至是純?nèi)斯げ僮�，而互�?lián)網(wǎng)更多的是通過(guò)代碼來(lái)進(jìn)行運(yùn)維，避免人工操作，這也是為什么互聯(lián)網(wǎng)公司對(duì)運(yùn)維有要求開(kāi)發(fā)能力的原因;

•  點(diǎn)化與線性化：傳統(tǒng)行業(yè)的運(yùn)維分不同時(shí)間購(gòu)進(jìn)了很多運(yùn)維平臺(tái)，而各個(gè)運(yùn)維平臺(tái)之間是獨(dú)立的、離散的。而互聯(lián)網(wǎng)的運(yùn)維平臺(tái)多是線性的，可以實(shí)現(xiàn)端到端的交付與串聯(lián);

•  對(duì)人員要求不同：互聯(lián)網(wǎng)公司無(wú)論是哪個(gè)層面的運(yùn)維都要求有一定的開(kāi)發(fā)能力或者是一些原理的深入了解(代碼層面)，而傳統(tǒng)行業(yè)更多的是對(duì)操作層面的要求。
 

問(wèn)題4：自動(dòng)化運(yùn)維平臺(tái)如何能更好的貼近業(yè)務(wù)?及時(shí)發(fā)現(xiàn)業(yè)務(wù)的已經(jīng)發(fā)生的風(fēng)險(xiǎn)和將要發(fā)生的風(fēng)險(xiǎn)?
 

自動(dòng)化運(yùn)維要更好的貼近業(yè)務(wù)首先需要收集業(yè)務(wù)的自動(dòng)化運(yùn)維需求，通過(guò)平臺(tái)來(lái)滿足業(yè)務(wù)的自動(dòng)化運(yùn)維需求，這是第一步要做的工作。
 

其次需要對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行監(jiān)控，在此基礎(chǔ)上，需要和業(yè)務(wù)溝通風(fēng)險(xiǎn)指標(biāo)，將風(fēng)險(xiǎn)指標(biāo)進(jìn)行量化，并配置到自動(dòng)化運(yùn)維平臺(tái)的監(jiān)控系統(tǒng)中，利用平臺(tái)的監(jiān)控能力進(jìn)行724小時(shí)監(jiān)控，當(dāng)出現(xiàn)指標(biāo)達(dá)到報(bào)警閾值的時(shí)候，就通過(guò)短信、微信、郵件等方式進(jìn)行告警。
 

最后，對(duì)于風(fēng)險(xiǎn)指標(biāo)的配置可以通過(guò)大數(shù)據(jù)分析和AI的結(jié)合來(lái)逐步完善，形成一個(gè)適合每個(gè)業(yè)務(wù)系統(tǒng)的正向反饋鏈。
 

問(wèn)題5：傳統(tǒng)的IT運(yùn)維與自動(dòng)化運(yùn)維有什么差別?
 

之所以會(huì)出現(xiàn)半自動(dòng)化的運(yùn)維，其實(shí)就是因?yàn)檫@些解決的都是點(diǎn)上的問(wèn)題，都是把每個(gè)點(diǎn)的人工操作變成了腳本化或者平臺(tái)化的自動(dòng)動(dòng)作，是離散的，本質(zhì)上還是點(diǎn)而不是線，更不是面。真正的自動(dòng)化運(yùn)維是要達(dá)到端到端的自動(dòng)化交付，是從開(kāi)發(fā)到測(cè)試到運(yùn)維全鏈路的自動(dòng)化，去除人工操作。
 

舉一個(gè)例子，創(chuàng)建一個(gè)Redis中間件，半自動(dòng)化的做法是：

•  在虛擬化平臺(tái)申請(qǐng)機(jī)器;

•  網(wǎng)絡(luò)分配IP地址(人工);

•  通過(guò)另外的腳本對(duì)機(jī)器進(jìn)行初始化(人工執(zhí)行腳本);

•  通過(guò)安裝腳本安裝Redis(人工安裝);

•  郵件或者人工告知申請(qǐng)方。
 

自動(dòng)化的做法是：提交創(chuàng)建Redis需求，自動(dòng)化平臺(tái)做好所有的事情，然后調(diào)用郵件接口，通知申請(qǐng)者。
 

問(wèn)題6：自動(dòng)化運(yùn)維自主研發(fā)的邊界如何界定?既可以做到自主可控，又可以全面發(fā)揮和提升員工的能力?
 

自主可控有兩種思路，一種是完全自研;另一種是基于一個(gè)采購(gòu)的自動(dòng)化運(yùn)維平臺(tái)進(jìn)行二次開(kāi)發(fā)。
 

對(duì)于第一種情況，需要公司人員具備一定的開(kāi)發(fā)能力，優(yōu)勢(shì)在于可以并充分結(jié)合本地需求，缺點(diǎn)是對(duì)人員要求比較高并且平臺(tái)成型較慢;
 

對(duì)于第二種情況，需要采購(gòu)一個(gè)平臺(tái)技術(shù)棧實(shí)現(xiàn)與本公司開(kāi)發(fā)或者運(yùn)維人員匹配的平臺(tái)，并且要求平臺(tái)方開(kāi)放源代碼或者提供豐富的二次開(kāi)發(fā)接口，優(yōu)勢(shì)是可以快速滿足至少80%左右的需求，劣勢(shì)是需要理解已有的代碼，靈活性不夠。
 

以上關(guān)于企業(yè)自動(dòng)化運(yùn)維落地的18個(gè)問(wèn)題的解答，希望對(duì)各位朋友有所幫助~

標(biāo)簽： 自動(dòng)化運(yùn)維 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。