有沒有遇到過系統中的某個應用程序獨占了你所有的網絡帶寬的情形?如果你有過這樣的遭遇,那麼你就會感受到Trickle這種帶寬調整應用的價值。不管你是一個系統管理員還只是普通Linux用戶,都需要學習如何控制應用程序的上下行速度,來確保你的網絡帶寬不會被某個程序霸占。
什麼是 Trickle?
Trickle是一個網絡帶寬調整工具,可以讓我們管理應用程序的網絡上下行速度,使得可以避免其中的某個應用程序霸占了全部或大部分可用的帶寬。換句話說,Trickle可以讓你基於單個應用程序來控制網絡流量速率,而不是僅僅針對與單個用戶——這是在客戶端網絡環境中經典的帶寬調整情況。
Trickle 是如何工作的?
另外,trickle 可以幫助我們基於應用來定義優先級,所以當對整個系統進行了全局限制設定,高優先級的應用依然會自動地獲取更多的帶寬。為了實現這個目標,trickle 對 TCP 連接上的套接字的數據發送、接收設置流量限制。我們必須注意到,除了影響傳輸速率之外,在這個過程中,trickle任何時候都不會以任何方式來改變其中的數據。
Trickle不能做什麼?
這麼說吧,唯一的限制就是,trickle不支持靜態鏈接的應用程序或者具有SUID或SGID位設置的二進制程序,因為它使用動態鏈接的方式將其載入到需要調整的進程和其關聯的網絡套接字之間。 Trickle此時會在這兩種軟件組件之間扮演代理的角色。
由於trickle並不需要超級用戶的權限來運行,所以用戶可以設置他們自己的流量限制。可能這並不是你想要的,我們會探索如何使用全局設定來限制系統中的所有用戶的流量限制。也即是說,此時系統中的每個用戶具有管理各自的流量速率,但是無論如何,都會受到系統管理員給他們設置的總體限制。
在這篇文章中,我們會描述如何通過trickle在linux平台上管理應用程序使用的網絡帶寬。為了生成所需的流量,在此會在客戶端(CentOS 7 server – dev1: 192.168.0.17)上使用 ncftpput 和 ncftpget, 在服務器(Debian Wheezy 7.5 – dev2: 192.168.0.15)上使用vsftpd 來進行演示。 相同的指令也可以在RedHat,Fedora和Ubuntu等系統使用。
前提條件
對於 RHEL/CentOS 7/6, 開啟EPEL倉庫。這些用於企業版 Linux 的額外軟件包是一個由Fedora項目維護的高質量、開源的軟件倉庫,而且百分之百與其衍生產品相兼容,如企業版本Linux和CentOS。 在這個倉庫中trickle和ncftp兩者都是可用的。
按照如下方式安裝ncftp:
復制代碼代碼如下: # yum update && sudo yum install ncftp [基於 RedHat 的系統]
# aptitude update && aptitude install ncftp [基於 Debian 的系統]
在單獨的服務器上設置一個FTP服務器。需要注意的是,盡管FTP天生就不安全,但是仍然被廣泛應用在安全性無關緊要的文件上傳下載中。 在這篇文章中我們使用它來演示trickle的優點,同時它也會在客戶端的標准輸出流中顯示傳輸速率。我們將是否在其它時間使用它放在一邊討論。
復制代碼代碼如下: # yum update && yum install vsftpd [基於 RedHat 的系統]
# aptitude update && aptitude install vsftpd [基於 Debian 的系統]
現在,在FTP服務器上按照以下方式編輯 /etc/vsftpd/vsftpd.conf 文件。
復制代碼代碼如下: anonymous_enable=NO
local_enable=YES
chroot_local_user=YES
allow_writeable_chroot=YES
在此之後,確保在你的當前會話中啟動了vsftpd,並在之後的啟動中讓其自動啟動。
復制代碼代碼如下:# systemctl start vsftpd [基於 systemd 的系統]
# systemctl enable vsftpd
# service vsftpd start [基於 init 的系統]
# chkconfig vsftpd on
如果你選擇在一個使用 SSH 密鑰進行遠程訪問的 CentOS/RHEL 7中搭建FTP服務器,你需要一個密碼受保護的用戶賬戶,它能訪問root目錄之外的某個目錄,並有能在其中上傳和下載文件的權限。
你可以通過在你的浏覽器中輸入以下的URL來浏覽你的家目錄。一個登錄窗口會彈出來提示你輸入FTP服務器中的有效的用戶名和密碼。
ftp://192.168.0.15
如果驗證成功,你就會看到你的家目錄中的內容。該教程的稍後部分中,你將可以刷新頁面來顯示在你之前上傳過的文件。
如何在Linux中安裝 trickle
通過yum或aptitude來安裝trickle.
為了確保能夠成功安裝,最好在安裝工具之前,保證當前的安裝包是最新的版本。
復制代碼代碼如下: # yum -y update && yum install trickle [基於 RedHat 的系統]
# aptitude -y update && aptitude install trickle [基於 Debian 的系統]
確認trickle是否對特定的二進制包有用。
之前我們解釋過,trickle只對使用動態或共享的庫的二進制包有用。為了確認我們是否可以對某個特定的應用使用trickle,我們可以使用著名的ldd(列出動態依賴)工具。 特別地,我們會查看任何給定程序的動態依賴中其當前使用的glibc,因為其准確地定義了通過套接字通訊所使用的系統調用。
對一個給定的二進制包執行以下命令來查看是否能對其使用trickle進行帶寬調整:
復制代碼代碼如下: # ldd $(which [binary]) | grep libc.so
例如,
復制代碼代碼如下:# ldd $(which ncftp) | grep libc.so
其輸出是:
復制代碼代碼如下: # libc.so.6 => /lib64/libc.so.6 (0x00007efff2e6c000)
輸出中的括號中的字符可能在不同的系統平台有所不同,甚至相同的命令在不同的時候運行也會不同,因為其代表包加載到物理內存中的地址。
如果上面的命令沒有返回任何的結果,就說明這個二進制包沒有使用libc包,因此trickle對其不能起到帶寬調整的作用。
學習如何使用Trickle
最基本的用法就是使用其獨立模式,通過這種方式,trickle用來顯式地定義給定應用程序的上傳下載速率。如前所述,為了簡單,我們會使用相同的應用來進行上傳下載測試。
在獨立模式下運行trickle
我們會比較在有無trickle的情況下的上傳下載速率, ‘-d’選項指示下載速率(KB/s單位),而'-u'選項指示相同單位的上傳速率。另外我們會使用到‘-s’選項來指定trickle應該以獨立模式運行。
以獨立模式運行trickle的基本語法如下:
復制代碼代碼如下:# trickle -s -d [下載速率,KB/s] -u [上傳速率,KB/s]
為了能夠讓你自己運行以下樣例,確保你在自己的客戶端安裝了trickle和ncftp(我的是192.168.0.17)。
樣例1:在有無trickle的情況下上傳一個2.8 MB的PDF文件。
我們使用一個自由發布的LInux基礎知識PDF文件來進行下面的測試。
你可以首先使用下面的命令將這個文件下載到你當前的工作目錄中:
復制代碼代碼如下: # wget http://linux-training.be/files/books/LinuxFun.pdf
下面是在沒有trickle的情況下將一個文件上傳到我們的FTP服務器的語法:
復制代碼代碼如下:# ncftpput -u username -p password 192.168.0.15 /remote_directory local-filename
其中的 /remote_directory 是相對於該用戶的家目錄的上傳路徑,而local-filename是一個你當前工作目錄中的文件。
特別的是,在沒有trickle的情形下,我們可以得到上傳峰值速率52.02MB/s(請注意,這個不是真正的平均上傳速率,而是峰值開始的瞬時值),而且這個文件幾乎在瞬間就完成了上傳。
復制代碼代碼如下: # ncftpput -u username -p password 192.168.0.15 /testdir LinuxFun.pdf
輸出:
復制代碼代碼如下:LinuxFun.pdf: 2.79 MB 52.02 MB/s
在使用trickle的情況下,我們會限制上傳速率在5KB/s。在第二次上傳文件之前,我們需要在目標目錄中刪除這個文件,否則ncftp就會通知我們在目標目錄中已經存在了與上傳文件相同的文件,從而不會執行文件的傳輸:
復制代碼代碼如下: # rm /absolute/path/to/destination/directory/LinuxFun.pdf
然後:
復制代碼代碼如下:# trickle -s -u 5 ncftpput -u username -p password 111.111.111.111 /testdir LinuxFun.pdf
輸出:
復制代碼代碼如下: LinuxFun.pdf: 2.79 MB 4.94 kB/s
在上面的樣例中,我們看到平均的上傳速率下降到了5KB/s。
樣例2:在有無trickle的情況下下載相同的2.8MB的PDF文件
首先,記得從原來的源目錄中刪除這個PDF:
復制代碼代碼如下: # rm /absolute/path/to/source/directory/LinuxFun.pdf
請注意,下面的樣例中將遠程的文件下載到客戶端機器的當前目錄下,這是由FTP服務器的IP地址後面的“.”決定的。
沒有trickle的情況下:
復制代碼代碼如下:# ncftpget -u username -p password 111.111.111.111 . /testdir/LinuxFun.pdf
輸出:
復制代碼代碼如下:LinuxFun.pdf: 2.79 MB 260.53 MB/s
在有trickle的情況下,限制下載速率在20KB/s:
復制代碼代碼如下: # trickle -s -d 30 ncftpget -u username -p password 111.111.111.111 . /testdir/LinuxFun.pdf
輸出:
復制代碼代碼如下:LinuxFun.pdf: 2.79 MB 17.76 kB/s
在監督[非托管]模式下運行Trickle
trickle也可以按照/etc/trickled.conf文件中定義的一系列參數運行在非托管模式下。 這個文件定義了守護線程 trickled的行為以及如何管理trickle。
另外,如果你想要全局設置被所有的應用程序使用的話,我們就會需要使用trickle命令。 這個命令運行守護進程,並允許我們通過trickle定義所有應用程序共享的上傳下載限制,不需要我們每次來進行指定。
例如,運行:
復制代碼代碼如下: # trickled -d 50 -u 10
會導致任何通過trickle運行的應用程序的上傳下載速率分別限制在30kb/s和10kb/s。
請注意,你可以在任何時間都能確認守護線程trickled是否正在運行以及其運行參數:
復制代碼代碼如下:# ps -ef | grep trickled | grep -v grep
輸出:
復制代碼代碼如下: root 16475 1 0 Dec24 ? 00:00:04 trickled -d 50 -u 10
樣例3:在使用/不使用trickle的情形下上傳一個 19MB 的mp4文件到我們的FTP服務器。
在這個樣例中,我們會使用“He is the gift”的自由分發視頻,可以通過這個鏈接下載。
我們將會在開始時通過以下的命令將這個文件下載到你的當前工作目錄中:
復制代碼代碼如下: # wget http://media2.ldscdn.org/assets/missionary/our-people-2014/2014-00-1460-he-is-the-gift-360p-eng.mp4
首先,我們會使用之前列出的命令來開啟守護進程trickled:
復制代碼代碼如下:# trickled -d 30 -u 10
在不使用trickle時:
復制代碼代碼如下: # ncftpput -u username -p password 192.168.0.15 /testdir 2014-00-1460-he-is-the-gift-360p-eng.mp4
輸出:
復制代碼代碼如下:2014-00-1460-he-is-the-gift-360p-eng.mp4: 18.53 MB 36.31 MB/s
在使用trickle時:
復制代碼代碼如下:# trickle ncftpput -u username -p password 192.168.0.15 /testdir 2014-00-1460-he-is-the-gift-360p-eng.mp4
輸出:
復制代碼代碼如下: 2014-00-1460-he-is-the-gift-360p-eng.mp4: 18.53 MB 9.51 kB/s
我們可以看到上面的輸出,上傳的速率下降到了約 10KB/s。
** 樣例4:在使用/不使用trickle的情形下下載這個相同的視頻 **
與樣例2一樣,我們會將該文件下載到當前工作目錄中。
在沒有trickle時:
復制代碼代碼如下: # ncftpget -u username -p password 192.168.0.15 . /testdir/2014-00-1460-he-is-the-gift-360p-eng.mp4
輸出:
復制代碼代碼如下:2014-00-1460-he-is-the-gift-360p-eng.mp4: 18.53 MB 108.34 MB/s
有trickle的時:
復制代碼代碼如下:# trickle ncftpget -u username -p password 111.111.111.111 . /testdir/2014-00-1460-he-is-the-gift-360p-eng.mp4
輸出:
復制代碼代碼如下:2014-00-1460-he-is-the-gift-360p-eng.mp4: 18.53 MB 29.28 kB/s
上面的結果與我們之前設置的下載限速相對應(30KB/s)。
注意: 一旦守護進程開啟之後,就沒有必要使用trickle來為每個應用程序來單獨設置限制。
如前所述,人們可以進一步地通過trickled.conf來客制化trickle的帶寬速率調整,該文件的一個典型的分段有以下部分組成:
復制代碼代碼如下: [service]
Priority = <value>
Time-Smoothing = <value>
Length-Smoothing = <value>
其中,
上述平滑值(Time-Smoothing、 Length-smoothing)的改變會被翻譯為將指定的服務的使用一個間隔值而不是一個固定值。不幸的是,沒有一個特定的公式來計算間隔值的上下限,主要依賴於特定的應用場景。
下面是一個在CentOS 7 客戶端中的trickled.conf 樣例文件(192.168.0.17):
復制代碼代碼如下:[ssh]
Priority = 1
Time-Smoothing = 0.1
Length-Smoothing = 2
[ftp]
Priority = 2
Time-Smoothing = 1
Length-Smoothing = 3
使用該設置,trickled會為SSH賦予比FTP較高的傳輸優先級。值得注意的是,一個交互進程,例如SSH,使用了一個較小的時間間隔值,然而一個處理批量數據傳輸的服務如FTP,則使用一個較大的時間間隔來控制之前的樣例中的上傳下載速率,盡管不是百分百的由trickled指定的值,但是也已經非常接近了。
總結
在該文章中,我們探索了使用trickle在基於Fedora發行版和Debian衍生版平台上來限制應用程序的帶寬使用。也包含了其他的可能用法,但是不對以下情形進行限制: