之所以不直接使用物理ARM服務(wù)器部署K8S集群，主要跟單位測試場景有關(guān)系，既要使用云主機透傳GPU計算卡進行大量的計算，又要實現(xiàn)容器管理平臺。況且國外主流的K8S集群通常是跑在虛擬機里面的，運行在虛擬機里面的好處有很多，比如可以實現(xiàn)資源定制分配、利用云平臺API接口可以快速生成K8S集群Node節(jié)點、更好的靈活性以及可靠性；在ZStack ARM云平臺上可以同時構(gòu)建IaaS+PaaS混合平臺，滿足不同場景下的需求。

 

下面先介紹一下如何在基于ZStack For ARM平臺中云主機部署K8S集群，整個部署過程大概花1小時（主要原因是訪問部分國外網(wǎng)絡(luò)被和諧）。

 

集群環(huán)境介紹：

主機名	角色	IP地址	配置	系統(tǒng)版本
K8S-Master	Master	172.120.194.196	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node1	Node	172.120.194.197	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node2	Node	172.120.194.198	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node3	Node	172.120.194.199	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64

在本環(huán)境中用于構(gòu)建K8S集群所需的資源，為基于ZStack構(gòu)建的平臺上的云主機：

 

ZStack云主機K8S集群架構(gòu)

 

準備工作

配置主機名

hostnamectl set-hostname K8S-Master

hostnamectl set-hostname K8S-Node1

hostnamectl set-hostname K8S-Node2

hostnamectl set-hostname K8S-Node3

 

所有云主機上關(guān)閉swap分區(qū) 否則會報錯；該操作只需在云主機環(huán)境下執(zhí)行，物理機環(huán)境無需操作。

sudo swapoff -a  

安裝部署

安裝Docker

# step 1: 安裝必要的一些系統(tǒng)工具

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

# step 2: 安裝GPG證書

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# Step 3: 寫入軟件源信息

sudo add-apt-repository "deb [arch=arm64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# Step 4: 更新并安裝 Docker-CE

sudo apt-get -y update

sudo apt-get -y install docker-ce

使用daocloud對docker鏡像下載進行加速。

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://56d10455.m.daocloud.io

安裝go環(huán)境

apt-get install golang- golang

安裝kubelet、kubeadm、kubectl

apt-get update && apt-get install -y apt-transport-https

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

cat <

deb http://apt.kubernetes.io/ kubernetes-xenial main

EOF

apt-get update

apt-get install -y kubectl kubeadm kubectl

用kubeadm創(chuàng)建集群

初始化Master

kubeadm init --apiserver-advertise-address  172.120.194.196 --pod-network-cidr 10.244.0.0/16

執(zhí)行完上面命令后，如果中途不報錯會出現(xiàn)類似以下信息：

  kubeadm join 172.120.194.196:6443 --token oyf6ns.whcoaprs0q7growa --discovery-token-ca-cert-hash sha256:30a459df1b799673ca87f9dcc776f25b9839a8ab4b787968e05edfb6efe6a9d2

這段信息主要是提示如何注冊其他節(jié)點到K8S集群。

配置kubectl

Kubectl是管理K8S集群的命令行工具，因此需要對kubectl運行環(huán)境進行配置。

su - zstack

sudo mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

echo "source <(kubectl completion bash)" >> ~/.bash

安裝Pod網(wǎng)絡(luò)

為了讓K8S集群的Pod之間能夠正常通訊，必須安裝Pod網(wǎng)絡(luò)，Pod網(wǎng)絡(luò)可以支持多種網(wǎng)絡(luò)方案，當(dāng)前測試環(huán)境采用Flannel模式。

先將Flannel的yaml文件下載到本地，進行編輯，編輯的主要目的是將原來X86架構(gòu)的鏡像名稱，改為ARM架構(gòu)的。讓其能夠在ZStack ARM云環(huán)境正常運行。修改位置及內(nèi)容參考下面文件中紅色粗體字部分。

 

sudo wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

vim kube-flannel.yml

---

kind: ClusterRole

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

  name: flannel

rules:

  - apiGroups:

      - ""

    resources:

      - pods

    verbs:

      - get

  - apiGroups:

      - ""

    resources:

      - nodes

    verbs:

      - list

      - watch

  - apiGroups:

      - ""

    resources:

      - nodes/status

    verbs:

      - patch

---

kind: ClusterRoleBinding

 

總結(jié)

 

關(guān)于ZStack安裝部署的一些心得，整個ZStack For ARM平臺部署到業(yè)務(wù)環(huán)境構(gòu)建的過程，都是比較流暢的。ZStack產(chǎn)品化程度高，安裝過程非常簡單，基本上按照官方部署文檔1個小時內(nèi)就能完成3臺規(guī)模的云平臺搭建及平臺初始化工作。

 

ZStack云平臺采用獨特的異步架構(gòu)，大大提升了平臺響應(yīng)能力，使得批量并發(fā)操作不再成為煩惱；管理層面與業(yè)務(wù)層面獨立，不會因為管理節(jié)點意外宕機導(dǎo)致業(yè)務(wù)中斷；平臺內(nèi)置大量實用性很高的功能，極大方便了在測試過程中運維任務(wù)；版本升級簡單可靠，完全實現(xiàn)5分鐘跨版本無縫升級，經(jīng)實測升級過程中完全不影響業(yè)務(wù)正常運行。通過升級后能實現(xiàn)異構(gòu)集群管理，也就是說在ARM服務(wù)器上構(gòu)建管理節(jié)點，可以同時管理ARM集群中的資源，也能管理X86架構(gòu)集群中的資源；同時實現(xiàn)高級SDN功能。

 

而基于ZStack云主機構(gòu)建K8S集群時，我們團隊在選擇方案的時候，也拿物理機和云主機做過一系列對比，對比之后發(fā)現(xiàn)當(dāng)我用ZStack云主機部署K8S集群的時候更加靈活、可控。歡迎大家關(guān)注交流

標簽： Google isp linux ssl swap 服務(wù)器 網(wǎng)絡(luò) 云主機

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。