歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux基礎 >> 關於Linux

【使用linux並發命令parallel加快處理文本文件】-原來是坑爹啊。

1,看到oschina 上面的一篇文章

如何利用多核CPU來加速你的Linux命令 — awk, sed, bzip2, grep, wc等

http://www.oschina.net/news/45477/use-cpu-cores-linux-commands

系統使用的是Redhat 5

parallel的官網:

http://www.gnu.org/software/parallel/

需要使用opensuse的源進行安裝

http://software.opensuse.org/download.html?project=home%3Atange&package=parallel

 對於 CentOS CentOS-6,請以 根用戶 root 運行下面命令:

cd /etc/yum.repos.d/
wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-6/home:tange.repo
yum install parallel

對於 CentOS CentOS-5,請以 根用戶 root 運行下面命令:

cd /etc/yum.repos.d/
wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-5/home:tange.repo
yum install parallel

經測試wc -l 命令 發現在cpu數量是4的時候並沒有提高計算時間,反而慢了。

計算1G文件行數,用wc-l花費 1s而使用 parallel後花費 10s

對於200MB的文件也是10倍的關系。

總結:

理論和實際使用還是有差別啊。在4cup的機器上面測試一點 優勢也沒有啊。

基本上要慢個 10倍以上啊。看來要處理大文件,還是hadoop比較靠譜啊。

Copyright © Linux教程網 All Rights Reserved