1、基于OpenStack和Kubernetes構(gòu)建組合云平臺(tái)企業(yè)數(shù)據(jù)中心IT系統(tǒng)模型的轉(zhuǎn)變目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建基礎(chǔ)技術(shù)的選型基礎(chǔ)設(shè)施云平臺(tái)和容器編排管理系統(tǒng)的選型云平臺(tái)技術(shù)選型基礎(chǔ)技術(shù)的選型OpenStack提供了IaaS層服務(wù)也提供了諸多PaaS層服務(wù)計(jì)算網(wǎng)絡(luò)存儲(chǔ)認(rèn)證基礎(chǔ)技術(shù)的選型容器和Docker成為微服務(wù)架構(gòu)的交付標(biāo)準(zhǔn)基礎(chǔ)技術(shù)的選型Kubernetes原生為生產(chǎn)環(huán)境而設(shè)計(jì)的容器集群編排系統(tǒng)來(lái)自Google的簡(jiǎn)單一致的設(shè)計(jì)理念，原生為容器

2、集群打造原生服務(wù)發(fā)現(xiàn)統(tǒng)一的資源模型支持豐富的標(biāo)簽Label發(fā)現(xiàn)機(jī)制原生負(fù)載均衡，高可用方案原生的Rolling Update設(shè)計(jì)為生產(chǎn)環(huán)境專(zhuān)門(mén)打造的容器集群基礎(chǔ)技術(shù)的選型Kubernetes的統(tǒng)一資源模型和豐富的標(biāo)簽選擇器多鏡像Pod多種業(yè)務(wù)類(lèi)型：Service+RC/Job/DaemonSet自動(dòng)伸縮：AutoScaler多種Volumn驅(qū)動(dòng)目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建跨IaaS的容器集群部署兼容不同IaaS的容器集群部署系統(tǒng)跨IaaS的容器集群

3、部署利用不同的編排驅(qū)動(dòng)將容器集群部署到不同云平臺(tái)目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建容器和虛擬機(jī)的組合編排單純的容器服務(wù)不足以滿足企業(yè)云平臺(tái)的需求容器和虛擬機(jī)的組合編排同一平臺(tái)統(tǒng)一管理容器集群和虛擬機(jī)容器和虛擬機(jī)的組合編排自動(dòng)部署組合服務(wù)在用戶私有網(wǎng)絡(luò)通信目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)在H

4、ypervisor和網(wǎng)絡(luò)做多租戶隔離跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)單租戶模式下用子網(wǎng)和防火墻對(duì)用戶集群做隔離跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)虛擬機(jī)服務(wù)的負(fù)載均衡跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)容器集群內(nèi)部的負(fù)載均衡跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)發(fā)布容器集群服務(wù)到外網(wǎng)IP跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)通過(guò)端口映射發(fā)布容器集群服務(wù)到外網(wǎng)節(jié)省公網(wǎng)IP目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)的3種通用存儲(chǔ)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)塊存儲(chǔ)服務(wù)、云硬盤(pán)跨容器和虛擬機(jī)的存儲(chǔ)服

5、務(wù)對(duì)象存儲(chǔ)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)共享文件系統(tǒng)、共享目錄跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)后端存儲(chǔ)服務(wù)方案的選型服務(wù)類(lèi)型可選技術(shù)適用理由注意事項(xiàng)OpenStack塊 存儲(chǔ)Ceph高可靠 ， 高可擴(kuò)展 ， 同Openstack 集成較好， 文檔 資料豐富針對(duì)日志盤(pán)和網(wǎng)絡(luò)的硬件配 置和系統(tǒng)調(diào)優(yōu)做仔細(xì)研究Openstack塊存 儲(chǔ)LVM定制使用本地存儲(chǔ)的高性能 虛擬機(jī)， 例如用于Hadoop集群的虛擬機(jī)對(duì)于擴(kuò)展存儲(chǔ)資源的調(diào)度缺 乏自動(dòng)化Openstack/Kubernetes 對(duì)象存儲(chǔ)Swift高可靠，高可擴(kuò)展，支持糾刪碼，原生Openstack系統(tǒng)Swift不是文件系統(tǒng)。需要不同于Ceph的后端配置管理

6、和 調(diào)優(yōu)技能。Openstack/Ku bernetes對(duì)象存儲(chǔ)Ceph在塊存儲(chǔ)已經(jīng)選用了Ceph的情況下，可以共用統(tǒng)一的 后端配置管理平臺(tái)和技能在Openstack環(huán)境下性能不如SwiftOpenstack/Kubernetes 文 件 共享系統(tǒng)OpenstackManila/GlusterFS根據(jù)需要可以定制NFS ，CIFS服務(wù)，高可用高可用備份方案仍在演化Openstack/Kubernetes 文 件 共享系統(tǒng)Cinder + NFS非常容易快速搭建缺乏成熟的高可用方案跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)鏡像倉(cāng)庫(kù)的后端存儲(chǔ)選型跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)對(duì)象存儲(chǔ)作為鏡像倉(cāng)庫(kù)存儲(chǔ)后端目錄基礎(chǔ)技術(shù)的選型

7、跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那些坑組合云平臺(tái)的構(gòu)建云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)輕元數(shù)據(jù)中心操作系統(tǒng)服務(wù)架構(gòu)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)銀行IT系統(tǒng)監(jiān)控管理平臺(tái)簡(jiǎn)介云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)某政府部門(mén)電子政務(wù)云項(xiàng)目簡(jiǎn)介云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)某創(chuàng)業(yè)園區(qū)專(zhuān)有云簡(jiǎn)介云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)地理信息系統(tǒng)私有云簡(jiǎn)介目錄基礎(chǔ)技術(shù)的選型跨IaaS的容器集群部署容器和虛擬機(jī)的組合編排跨容器和虛擬機(jī)的網(wǎng)絡(luò)服務(wù)跨容器和虛擬機(jī)的存儲(chǔ)服務(wù)云平臺(tái)基本服務(wù)架構(gòu)和應(yīng)用部署架構(gòu)我們趟過(guò)的那

8、些坑組合云平臺(tái)的構(gòu)建我們趟過(guò)的那些坑問(wèn)題創(chuàng)建虛擬機(jī)鏡像時(shí)沒(méi)有指定os-distro屬性解決方案創(chuàng)建虛擬機(jī)鏡像時(shí)一定要指定os-distro屬性glance image-create -name fedora-23-atomic -visibility public-disk-format qcow2 -os-distro fedora-atomic -container- format bare -progress -file ./Fedora-Cloud-Atomic-23- 20151030.x86_64.qcow2對(duì)于已有的鏡像，更新os-distro屬性glance image-upd

9、ate -os-distro fedora-atomic fedora-23-atomicMagnum創(chuàng)建baymodel失敗我們趟過(guò)的那些坑問(wèn)題Magnum的部署腳本中需要從gcr.io/google_containers/來(lái)下載鏡像，由于眾所周知原因，無(wú)法下載成功解決方案magnum-template-manage list-templates -d p 確定magnum模板的安裝位置，將./magnum/templates/下 全部yaml和sh腳本中的gcr.io替換成墻內(nèi)鏡像倉(cāng)庫(kù)的地 址。Bay創(chuàng)建后，kube-master中的kubernetes無(wú)法啟動(dòng)我們趟過(guò)的那些坑問(wèn)題部署3個(gè)

10、kube-master節(jié)點(diǎn)，3個(gè)節(jié)點(diǎn)的kube API Server不能同時(shí)工作，同時(shí)只能啟動(dòng)一個(gè)服務(wù)實(shí)例解決方案升級(jí)到Kubernetes 1.2，3個(gè)kube API Server可以同時(shí) 提供服務(wù)，scheduler和controller manager服務(wù)只有1 個(gè)節(jié)點(diǎn)運(yùn)行，其他兩個(gè)節(jié)點(diǎn)處于備用狀態(tài)前端用Haproxy做負(fù)載均衡，代理轉(zhuǎn)發(fā)到3個(gè)APIServer的后端IPKubernetes的高可用部署問(wèn)題我們趟過(guò)的那些坑問(wèn)題當(dāng)用HTTPS部署高可用API Server時(shí)客戶端驗(yàn)證不通過(guò)解決方案對(duì)3個(gè)API Server的后端服務(wù)用統(tǒng)一的證書(shū)證書(shū)簽名中包含所有API Server的IPKubernetes API Server的高可用部署的證書(shū)問(wèn)題我們趟過(guò)的那些坑問(wèn)題Docker Engine 1.10對(duì)接Swift有問(wèn)題，向上push鏡像失敗解決方案訪問(wèn)Docker Registry的Docker Engine版本升級(jí)到Dockers 1.11Docker Registry對(duì)接Swift失敗總結(jié)Kuberne