我一直使用 Python,用它處理各種數據科學項目。 Python 以易用聞名。有編碼經驗者學習數天就能上手(或有效使用它)。
聽起來很不錯,不過,如果你既用 Python,同時也是用其他語言,比如說 C 的話,或許會存在一些問題。
給你舉個我自己經歷的例子吧。 我精通命令式語言,如 C 和 C++。對古老經典的語言如 Lisp 和 Prolog 能熟練使用。另外,我也用過 Java,Javascript 和 PHP 一段時間。(那麼,學習) Python 對我來講不是很簡單嗎?事實上,只是看起來容易,我給自己挖了個坑:我像用 C 一樣去用 Python。
具體情況,請向下看。
一個最近的項目中,需要處理地理空間數據。給出(任務)是 gps 追蹤 25,000 個左右位置點,需要根據給定的經緯度,重復定位距離最短的點。我第一反應是,翻查(已經實現的)計算已知經緯度兩點間距離的代碼片段。代碼可以在 John D. Cook 寫的這篇 code available in the public domain 中找得到。
萬事俱備! 只要寫一段 Python 函數,返回與輸入坐標距離最短的點索引(25,000 點數組中的索引),就萬事大吉了:
def closest_distance(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = distance_on_unit_sphere(lat, lon, lati, loni)
if d > md
best = i
d = md
return best
其中, distance_on_unit_sphere 是 John D. Cook's 書中的函數,trkpts 是數組,包含 gps 追蹤的點坐標(實際上,是 pandas 中的數據幀,注,pandas 是 python 第三方數據分析擴展包)。
上述函數與我以前用 C 實現的函數基本相同。 它遍歷(迭代)trkpts 數組,將迄今為止(距離給定坐標位置)的距離最短的點索引值,保存到本地變量 best 中。
目前為止,情況還不錯,雖然 Python 語法與 C 有很多差別,但寫這段代碼,並沒有花去我太多時間。
代碼寫起來快,但執行起來卻很慢。例如,我指定428 個點,命名為waypoints(導航點,路點,導航路線中的關鍵點)。導航時,我要為每個導航點 waypoint 找出距離最短的點。為 428 個導航點 waypoint 查找距離最短點的程序,在我的筆記本上運行了 3 分 6 秒。
之後,我改為查詢計算曼哈坦距離,這是近似值。我不再計算兩點間的精確距離,而是計算東西軸距離和南北軸距離。計算曼哈坦距離的函數如下:
def manhattan_distance(lat1, lon1, lat2, lon2):
lat = (lat1+lat2)/2.0
return abs(lat1-lat2)+abs(math.cos(math.radians(lat))*(lon1-lon2))
實際上,我用了一個更簡化的函數,忽略一個因素,即維度曲線上 1 度差距比經度曲線上的 1 度差距要大得多。簡化函數如下:
def manhattan_distance1(lat1, lon1, lat2, lon2):
return abs(lat1-lat2)+abs(lon1-lon2)
closest 函數修改為:
def closest_manhattan_distance1(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = manhattan_distance1(lat, lon, lati, loni)
if d > md
best = i
d = md
return best
如果將 Manhattan_distance 函數體換進來,速度還可以快些:
def closest_manhattan_distance2(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = abs(lat-lati)+abs(lon-loni)
if d > md
best = i
d = md
return best
在計算的最短距離點上,用這個函數與用 John's 的函數效果相同。我希望我的直覺是對的。越簡單就越快。現在這個程序用了 2 分 37 秒。提速了 18%。 很好,但還不夠激動人心。
我決定正確使用 Python。這意味著要利用 pandas 支持的數組運算。這些數組運算操作源於 numpy 包。通過調用這些數組操作,代碼實現更簡練:
def closest(lat,lon,trkpts):
cl = numpy.abs(trkpts.Lat - lat) + numpy.abs(trkpts.Lon - lon)
return cl.idxmin()
該函數與之前函數的返回結果相同。在我的筆記本上運行時間花費了 0.5 秒。整整快了 300 倍! 300 倍,,也即30,000 %。不可思議。 提速的原因是 numpy 數組操作運算用 C 實現。因此, 我們將最好的兩面結合起來了: 我們得到 C 的速度和 Python 的簡潔性。
教訓很明確:別用 C 的方式寫 Python 代碼。用 numpy 數組運算,不要用數組遍歷。對我來說,這是思維上的轉變。
Update on July 2, 2015。文章討論在Hacker News。一些評論沒有注意到(missed )我用到了 pandas 數據幀的情況。主要是它在數據分析中很常用。如果我只是要快速的查詢最短距離點,且我時間充分,我可以使用 C 或 C++ 編寫四叉樹(實現)。
Second update on July 2, 2015。有個評論提到 numba 也能對代碼提速。我就試了一下。
這是我的做法,與你的情況不一定相同。 首先,要說明的是,不同的 python 安裝版,實驗的結果不一定相同。我的實驗環境是 windows 系統上安裝 Anaconda,同時也安裝了一些擴展包。可能這些包和 numba 存在干擾。.
首先,輸入下面的安裝命令,安裝 numba:
$ conda install numba
這是我命令行界面上的反饋:
之後我發現,numba 在 anaconda 安裝套件中已存在。 也可能安裝指令有變更也說不定。
推薦的 numba 用法:
@jit
def closest_func(lat,lon,trkpts,func):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = abs(lat - lati) + abs(lon - loni)
if d > md:
#print d, dlat, dlon, lati, loni
best = i
d = md
return best
我沒有發現運行時間提高。我也嘗試了更積極的編譯參數設置:
@jit(nopython=True)
def closest_func(lat,lon,trkpts,func):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = abs(lat - lati) + abs(lon - loni)
if d > md:
#print d, dlat, dlon, lati, loni
best = i
d = md
return best
這次運行代碼時,出現一個錯誤:
看來,pandas 比 numba 處理代碼更智能。
當然,我也能花時間修改數據結構,使 numba 能正確編譯(compile)。可是,我為什麼要這麼干呢? 用 numpy 寫的代碼運行的足夠快了。反正,我一直在用 numpy 和 pandas 。為什麼不繼續用呢?
也有建議我用pypy。這當然有意義,不過...我用的是托管服務器上的 Jupyter notebooks(注,在線浏覽器的 python 交互式開發環境)。我用的是它提供的 python 內核,也即,官方的(regular)Python 2.7.x 內核。並沒有提供 Pypy 選擇。
也有建議用 Cython。好吧,如果我回頭要編譯代碼 ,那我干脆直接用 C 和 C++ 就好了。我用 python,是因為,它提供了基於 notebooks(注:網頁版在線開發環境)的交互式特性,可以快速原型實現。這卻不是 Cython 的設計目標。
下面關於Python的文章您也可能喜歡,不妨看看:
Python:在指定目錄下查找滿足條件的文件 http://www.linuxidc.com/Linux/2015-08/121283.htm
Python2.7.7源碼分析 http://www.linuxidc.com/Linux/2015-08/121168.htm
無需操作系統直接運行 Python 代碼 http://www.linuxidc.com/Linux/2015-05/117357.htm
CentOS上源碼安裝Python3.4 http://www.linuxidc.com/Linux/2015-01/111870.htm
《Python核心編程 第���版》.(Wesley J. Chun ).[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm
《Python開發技術詳解》.( 周偉,宗傑).[高清PDF掃描版+隨書視頻+代碼] http://www.linuxidc.com/Linux/2013-11/92693.htm
Python腳本獲取Linux系統信息 http://www.linuxidc.com/Linux/2013-08/88531.htm
在Ubuntu下用Python搭建桌面算法交易研究環境 http://www.linuxidc.com/Linux/2013-11/92534.htm
Python 語言的發展簡史 http://www.linuxidc.com/Linux/2014-09/107206.htm
Python 的詳細介紹:請點這裡
Python 的下載地址:請點這裡
英文原文:Python Is Not C