Docker是一種在Linux容器裡運行應用的開源工具,一種輕量級的虛擬機。除了運行應用,Docker還提供了 一些工具,借助Docker Index或自己托管的Docker注冊表對進行了集裝箱化處理的應用進行分發,從而簡化復 雜應用的部署過程。
我將在本文介紹如今在部署復雜系統時公司所面臨的挑戰,Docker怎樣有效地解決這個問題,以及Docker 的其他用例。
部署的挑戰
服務器應用的部署已經越來越復雜了。把幾個Perl腳本拷貝到正確目錄就完成服務器應用的安裝,這種時 代已經一去不復返了。如今的軟件有很多類型的需求:
對已安裝軟件和庫的依賴(“Python版本高於2.6.3,使用Django 1.2”)
依賴於正在運行的服務(“需要一個MySQL 5.5數據庫和一個RabbitMQ隊列”)
依賴於特定的操作系統(“在64位的Ubuntu Linux 12.04上構建、測試”)
資源需求:
最小的可用內存(“需要1GB的可用內存”)
能綁定特定的端口(“綁定80和443端口”)
我們來看一個相對簡單的應用的部署:Wordpress。Wordpress的安裝通常要求:
Apache 2
PHP 5
MySQL
Wordpress源碼
一個Wordpress MySQL數據庫,配置Wordpress使用該數據庫
Apache的配置:
加載PHP模塊
支持URL重寫和.htaccess文件
指向WordPress源碼的DocumentRoot
在服務器上部署、運行這樣一個系統,我們可能會遇到下面的問題和挑戰:
隔離性:如果我們已經在這個服務器上部署了不同的網站,已有的網站只能在nginx上運行,而Wordpress 依賴於Apache,這時我們就會有麻煩:它們都監聽80端口。同時運行兩個網站是可以的,但需要調整配置(修 改監聽端口),設置反向代理等。庫級別也會出現類似的沖突,如果還要運行一個仍然依賴PHP4的老應用就會 出問題,因為Wordpress不再支持PHP4,同時運行PHP4和PHP5則非常困難。運行在同一個服務器上的應用沒有 互相隔離(在文件系統級別和網絡級別),所以它們可能會互相沖突。
安全性:Wordpress的安全記錄並不是非常好。所以還是給它創建個沙箱,至少黑客入侵時不會影響其他運 行的應用。
升級、降級:升級應用一般會覆蓋現有文件。升級過程中會發生什麼?系統要關閉麼?如果升級失敗,或 者不對該怎麼辦?我們怎樣快速回退到先前的版本?
快照、備份:一旦所有的內容都設置好,就給系統創建一個“快照”,以便能備份快照,甚至 能移到另一個服務器上再次啟動,或者拷貝到多個服務器上以備不時之需。
重復性:系統出新版本之後,比較好的做法是先在測試基礎設施上自動部署並測試,然後再發布到生產系 統。通常會利用諸如Chef、Puppet等工具在服務器上自動安裝一堆包,等一切內容都就緒後,再在生產系統上 運行相同的部署腳本。這在百分之九十九的情況下都沒有問題。但有百分之一的例外,在部署到測試環境和生 產環境之間的時間跨度裡,你依賴的包在包倉庫裡有了更新,而新版本並不兼容。結果生產環境的設置和測試 環境不同,還有可能破壞生產系統。假如沒有控制部署的每一個方面(例如托管自己的APT或YUM倉庫),持續 在多個階段(比如測試、預演、生產環境)重復搭建出完全相同的系統就很困難。
資源限制:如果我們的Wordpress耗費CPU資源,並占用了所有的CPU周期,導致其他應用無法做任何事情怎 麼辦?如果它用盡了全部可用的內存呢?或者瘋狂寫日志阻塞磁盤呢?要是能限制應用的可用資源,比如CPU 、內存和磁盤空間,就會非常方便。
易於安裝:也許有Debian或CentOS包,抑或是能自動執行所有復雜步驟並安裝Wordpress的Chef菜譜。但這 些菜譜很難穩定下來,因為它們需要考慮目標系統上可能的系統配置。很多情況下,這些菜譜只能在干淨的系 統上運行。因此,你不太可能更換成自己的包或Chef菜譜。這樣的話,安裝就是個復雜的系統工程,而不是午 休期間就能搞定的事情。
易於移除:軟件應該能輕松、干淨地移除,不留痕跡。但部署應用通常要調整已有的配置文件、設置狀態 (MySQL數據庫的數據,日志),完全移除應用也變得不那麼容易。
那我們應該如何解決這些問題呢?
虛擬機!
我們決定在單獨的虛擬機上運行獨立的應用,例如Amazon的EC2,大部分問題這時會迎刃而解:
隔離性:在一個VM上安裝一個應用,應用是完全獨立的,除非它們攻入了對方的防火牆。
重復性:用你喜歡的方式准備系統,然後創建一個AMI。你可以隨意實例化多個AMI實例。完全是可重現的 。
安全性:由於我們完全隔離,如果Wordpress遭到攻擊,其余的基礎設施並不會受到影響——除 非你沒有保管好SSH密鑰或者在哪裡都使用同一個密碼,但你應該不會這麼做吧?
資源限制:VM會分配特定的CPU周期、可用內存和磁盤空間,沒有加價的話就不能超額。
易於安裝:越來越多的應用能夠在EC2上運行,只要在AWS marketplace上點擊一個按鈕就能實例化應用。 啟動只需要幾分鐘,就是這樣。
易於移除:不需要某個應用了?銷毀VM。干淨又方便。
升級、降級:Netflix如何部署代碼裡提到,只需要在新VM上部署新版本,然後讓負載均衡器指向部署了新 版本的VM。不過應用如果需要在本地保存狀態,這種方法就不是很好用了。
快照、備份:點擊一個按鈕(或者調用一下API)就能獲得EBS磁盤的快照,快照會備份到S3中。
完美!
不過……我們有個新問題:虛擬機在兩個方面比較昂貴:
金錢:你真的有那麼多錢為每個應用啟動一個EC2實例?另外你能預測到需要多少個實例麼?如果你以後需 要更多的資源,你需要停止VM進行升級——否則就要為閒置資源白白付錢,直到真正用起來(除非 你用能動態調整大小的Solaris Zones,比如Joyent上的)。
時間:虛擬機相關的操作大多都很慢:啟動要幾分鐘,捕捉快照要幾分鐘,創建鏡像也需要幾分鐘。世界 不停轉動,我們可沒有這種時間!
我們能做得更好嗎?
進入Docker的世界吧。
Docker是由公共PaaS提供商dotCloud的人發起的開源項目,於去年初發起。從技術角度來說,Docker(主 要用Go語言編寫)試圖簡化兩種已有技術的使用:
LXC:Linux容器,允許獨立進程在比普通Unix進程更高的隔離級別上運行。使用的技術術語是集裝箱化: 一個容器裡運行一個進程。容器支持的隔離級別有:
文件系統:容器只能訪問自己的沙箱文件系統(類似於chroot),否則要專門掛載到容器的文件系統中才 能訪問。
用戶名字空間:容器有自己的用戶數據庫(也就是容器的root不等於主機的root賬戶)。
進程名字空間:只有容器裡的進程才是可見的(ps aux的輸出會非常簡潔)。
網絡名字空間:每個容器都有自己的虛擬網絡設備和虛擬IP(因此它可以綁定任意端口,不用占用主機端 口)。
AUFS:高級多層的統一文件系統,可用來創建聯合、寫時拷貝的文件系統。
Docker可以安裝在任何支持AUFS和內核版本大於等於3.8的Linux系統上。但從概念上來說它並不依賴於這 些技術,以後也可以和類似的技術一起運行,例如Solaris的Zones或BSD jails,並將ZFS作為文件系統。不過 目前只能選擇Linux 3.8+和AUFS。
那Docker為什麼有意思呢?
Docker非常輕量。啟動VM是個大動作,需要占用大量內存;而啟動Docker容器只耗費很少的CPU和內存,並 且非常快。幾乎和啟動一個常規進程沒什麼區別。不僅運行容器快,構建鏡像、捕獲文件系統的快照也很快。
它運行在已經虛擬化過的環境中。也就是說,你可以在EC2實例、Rackspace VM或VirtualBox裡運行Docker 。事實上,在Mac和Windows上使用Docker的首選方式是使用Vagrant。
Docker容器能移植到任何運行Docker的操作系統上。無論是Ubuntu還是CentOS,只要Docker運行著,你的 容器就能運行。
讓我們回到前面的部署、操作問題列表,看看Docker是怎麼解決的:
隔離性:Docker在文件系統和網絡級別隔離了應用。從這個意義上來講很像在運行”真正的“ 虛擬機。
重復性:用你喜歡的方式准備系統(登錄並在所有軟件裡執行apt-get命令,或者使用Dockerfile),然後 把修改提交到鏡像中。你可以隨意實例化若干個實例,或者把鏡像傳輸到另一台機器,完全重現同樣的設置。
安全性:Docker容器比普通的進程隔離更為安全。Docker團隊已經確定了一些安全問題,正在著手解決。
資源約束:Docker現在能限制CPU的使用率和內存用量。目前還不能直接限制磁盤的使用情況。
易於安裝:Docker有一個Docker Index,這個倉庫存儲了現成的Docker鏡像,你用一條命令就可以完成實 例化。比如說,要使用Clojure REPL鏡像,只要運行docker run -t -i zefhemel/clojure-repl命令就能自動 獲取並運行該鏡像。
易於移除:不需要應用了?銷毀容器就行。
升級、降級:和EC2 VM一樣:先啟動應用的新版本,然後把負載均衡器切換到新的端口。
快照、備份:Docker能提交鏡像並給鏡像打標簽,和EC2上的快照不同,Docker是立即處理的。
怎麼使用Docker
假設你已經安裝了Docker。要在Ubuntu容器中運行bash,只要執行:
docker run -t -i ubuntu /bin/bash
根據“ubuntu”鏡像的下載情況,Docker會選擇下載或者使用本地可用的拷貝,然後在Ubuntu 容器裡運行/bin/bash。接著你就能在容器裡執行幾乎所有典型的Ubuntu操作,比如安裝新的包。
我們來安裝個“hello”:
$ docker run -t -i ubuntu /bin/bash root@78b96377e546:/# apt-get install hello Reading package lists... Done Building dependency tree... Done The following NEW packages will be installed: hello 0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded. Need to get 26.1 kB of archives. After this operation, 102 kB of additional disk space will be used. Get:1 http://archive.ubuntu.com/ubuntu/ precise/main hello amd64 2.7-2 [26.1 kB] Fetched 26.1 kB in 0s (390 kB/s) debconf: delaying package configuration, since apt-utils is not installed Selecting previously unselected package hello. (Reading database ... 7545 files and directories currently installed.) Unpacking hello (from .../archives/hello_2.7-2_amd64.deb) ... Setting up hello (2.7-2) ... root@78b96377e546:/# hello Hello, world!
現在退出,然後再運行一次相同的Docker命令:
root@78b96377e546:/# exit exit $ docker run -t -i ubuntu /bin/bash root@e5e9cde16021:/# hello bash: hello: command not found
怎麼了?我們美麗的hello命令哪兒去了?事實上我們剛剛根據干淨的Ubuntu鏡像啟動了一個新的容器。要 繼續先前那個,我們必須把它提交到倉庫中。我們退出這個容器,看看先前啟動容器的ID是什麼:
$ docker ps -a ID IMAGE COMMAND CREATED STATUS PORTS e5e9cde16021 ubuntu:12.04 /bin/bash About a minute ago Exit 127 78b96377e546 ubuntu:12.04 /bin/bash 2 minutes ago Exit 0
docker ps命令能列出當前運行的容器,docker ps -a還會顯示已經退出的容器。每個容器都有一個唯一的 ID,類似於Git提交哈希值。命令也列出了容器基於的鏡像、運行的命令、創建時間、當前狀態,以及容器暴 露的端口和與主機端口之間的映射。
上面那個是我們第二次啟動的容器,不包含“hello”;下面那個是我們想重用的,所以我們提 交一下,再創建一個新的容器:
$ docker commit 78b96377e546 zefhemel/ubuntu 356e4d516681 $ docker run -t -i zefhemel/ubuntu /bin/bash root@0d7898bbf8cd:/# hello Hello, world!
我用容器ID把容器提交到了倉庫中。倉庫類似於Git倉庫,包含一或多個打了標簽的鏡像。如果像我一樣沒 有指定標簽名稱,標簽會被命名為“latest”。運行docker images命令可以查看本地安裝的所有 鏡像。
Docker提供了一些基礎鏡像(比如ubuntu和centos),你也可以創建自己的鏡像。用戶倉庫的命名模型和 Github的類似:Docker用戶名後面跟一個斜線,然後再跟倉庫名稱。
前面創建Docker鏡像的方式並不是特別正規,你可以試試。更簡潔的方式是使用Dockerfile。
使用Dockerfile構建鏡像
Dockerfile是個簡單的文本文件,介紹了如何從基礎鏡像構建鏡像。我在Github上提供了幾個Dockerfile 。下面的文件用來運行、安裝SSH服務器:
FROM ubuntu RUN apt-get update RUN apt-get install -y openssh-server RUN mkdir /var/run/sshd RUN echo "root:root" | chpasswd EXPOSE 22
上面的內容一目了然。FROM命令定義了基礎鏡像,基礎鏡像可以是官方的,也可以是我們剛剛創建的 zefhemel/ubuntu。RUN命令用來配置鏡像。在這裡,我們更新了APT包倉庫,安裝了openssh-server,創建了 一個目錄,然後給我們的root賬戶設置了一個再簡單不過的密碼。EXPOSE命令會向外暴露22端口(SSH端口) 。接下來看看如何構建並實例化這個Dockerfile。
第一步是構建一個鏡像。在包含Dockerfile的目錄下運行:
$ docker bui ld -t zefhemel/ssh .
這會創建一個zefhemel/ssh倉庫,包含我們新的SSH鏡像。如果創建成功,就能進行實例化了:
$ docker run -d zefhemel/ssh /usr/sbin/sshd -D
和前面的命令不一樣。-d表示會在後台運行容器,而不是運行bash,所以我們用前台模式(用-D參數指定 )運行了sshd守護進程。
讓我們檢查運行中的容器,看看命令做了些什麼:
$ docker ps ID IMAGE COMMAND CREATED STATUS PORTS 23ee5acf5c91 zefhemel/ssh:latest /usr/sbin/sshd -D 3 seconds ago Up 2 seconds 49154->22
可以看到我們的容器啟動著。PORTS頭下的內容比較有意思。由於我們EXPOSE了22端口,這個端口現在映射 到了主機系統的一個端口(這裡是49154)。讓我們看看它能否運行。
$ ssh root@localhost -p 49154 The authenticity of host '[localhost]:49154 ([127.0.0.1]:49154)' can't be established. ECDSA key fingerprint is f3:cc:c1:0b:e9:e4:49:f2:98:9a:af:3b:30:59:77:35. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '[localhost]:49154' (ECDSA) to the list of known hosts. root@localhost's password: <I typed in 'root' here> Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.8.0-27-generic x86_64) * Documentation: https://help.ubuntu.com/ The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. root@23ee5acf5c91:~#
再次成功了!現在有了一個運行的SSH服務器,我們能登錄它。在有人猜出密碼並攻擊容器之前,讓我們先 從SSH退出,殺掉容器。
$ docker kill 23ee5acf5c91
如你所見,容器的22端口映射到了49154端口,但這是完全隨機的。要把它映射到特定端口,運行命令時傳 入-p參數:
docker run -p 2222:22 -d zefhemel/ssh /usr/sbin/sshd -D
現在,如果2222端口可用,我們的端口就會映射到2222上。我們在Dockerfile的結尾再添加一行內容,以 便我們的鏡像對用戶更加友好:
CMD /usr/sbin/sshd -D
CMD表示構建鏡像時並不會運行命令,實例化時才運行。所以不傳遞其它參數時就會執行/usr/sbin/sshd -D。然後我們可以直接運行:
docker run -p 2222:22 -d zefhemel/ssh
得到的結果和前面一樣。要發布新創建的鏡像,只要運行docker push就可以了:
docker push zefhemel/ssh
 
登錄之後,鏡像就可用了,用先前的docker run命令就能執行命令。
讓我們回到Wordpress的例子。怎樣在容器裡用Docker運行Wordpress呢?要構建一個Wordpress鏡像,我們 要創建一個Dockerfile:
安裝Apache、PHP5和MySQL
下載Wordpress,解壓到文件系統的某個地方
創建一個MySQL數據庫
更新WordPress的配置文件,指向MySQL數據庫
把WordPress設置為Apache的DocumentRoot
啟動MySQL和Apache(比如用supervisord)
幸運的是,很多人已經成功了,比如John Fink的GitHub庫就包括創建這樣一個Wordpress鏡像需要的所有 內容。
Docker用例
除了用可靠、可重復的方式簡化復雜應用的部署,Docker還有很多用途。下面是一些有趣的Docker用法和 項目:
持續集成和部署:在Docker容器裡構建軟件,確保構建之間的隔離性。構建好的軟件鏡像可以自動推到私 有的Docker倉庫中,並部署到測試環境或生產環境。
Dokku:一個簡單的PaaS,用不到一百行的Bash構建而成。
Flynn和Deis,兩個使用Docker的開源PaaS項目。
在容器裡運行桌面環境。
CoreOS驗證了Docker的合理性,CoreOS是個非常輕量級的Linux發行版,其中的應用都用Docker安裝、運行 ,由systemd管理。
Docker不是什麼
盡管Docker有助於系統的可靠部署,但它本身並不是個完全成熟的部署系統。它操作的是容器裡運行的應 用。哪個容器安裝在哪個服務器上,以及如何啟動它們,則超出了Docker的范圍。
同樣的,Docker也不處理跨多個容器(可能在多個物理服務器上,也可能在多個VM上)運行的應用。要讓 容器互相通信,需要某些發現機制,來找出哪些IP和端口上的其他應用可用。這和跨常規虛擬機的服務發現非 常相似。etcd等工具,或者其他的服務發現機制都能用來解決這個問題。
結論
雖然本文描述的所有內容用原始的LXC、cgroups和AUFS也可能實現,但實現起來絕對沒有那麼容易或簡單 。Docker提供了一種簡單的方式將復雜應用打包到容器中,而且能輕松版本化、可靠分發。進而讓輕量級的 Linux容器和真正的虛擬機一樣靈活、強大,但成本更低、方式更為便捷。即便Vagrant VirtualBox VM在Macbook Pro上,使用運行在其中的 Docker創建的Docker鏡像也能很好地運行在EC2、Rackspace Cloud或物理硬件上,反之亦然。
Docker可以從它的網站上獲取,並免費使用。交互式的入門指南很不錯。項目的路線圖指出,第一個生產就緒 的版本是2013年10月發布的0.8版本,不過此前大家已經在生產環境裡使用Docker了。