歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> Linux編程

Python控制多進程與多線程並發數

0x01    前言

本來寫了腳本用於暴力破解密碼,可是1秒鐘嘗試一個密碼2220000個密碼我的天,想用多線程可是只會一個for全開,難道開2220000個線程嗎?只好學習控制線程數了,官方文檔不好看,覺得結構不夠清晰,網上找很多文章也都不很清晰,只有for全開線程,沒有控制線程數的具體說明,最終終於根據多篇文章和官方文檔算是搞明白基礎的多線程怎麼實現法了,怕長時間不用又忘記,找著麻煩就貼這了,跟我一樣新手也可以參照參照。

先說進程和線程的區別:

(1)地址空間:進程內的一個執行單元;進程至少有一個線程;它們共享進程的地址空間;而進程有自己獨立的地址空間;

(2)資源擁有:進程是資源分配和擁有的單位,同一個進程內的線程共享進程的資源

(3)線程是處理器調度的基本單位,但進程不是.

(4)二者均可並發執行.

不能理解的話簡單打比方就是一個進程就像一個程序一樣,並發互不干擾。一個進程靠一個或多個線程執行處理,並發的線程是cpu在不停的來回切換執行,當然是快到你感覺不出的。

拿上面我遇到的困難來說吧,大量的數據需要執行相同的處理,一個操作中間可能會有一些等待時間,一個一個執行浪費大量時間,那麼就同時執行吧,我們可以用兩種並行辦法:

進程並行或者線程並行

各有優缺點,要看情況,不是絕對的,在此不討論這個,這引出下面兩種Python並行處理方法(注釋感覺很清晰詳細了,不再多說)

0x02    進程處理方法

#coding:utf-8
import random
from time import sleep
import sys
import multiprocessing
import os
#
#需求分析:有大批量數據需要執行,而且是重復一個函數操作(例如爆破密碼),如果全部開始線程數N多,這裡控制住線程數m個並行執行,其他等待
#
lock=multiprocessing.Lock()#一個鎖
def a(x):#模擬需要重復執行的函數
    lock.acquire()#輸出時候上鎖,否則進程同時輸出時候會混亂,不可讀
    print '開始進程:',os.getpid(),'模擬進程時間:',x
    lock.release()
   
    sleep(x)#模擬執行操作
   
    lock.acquire()
    print '結束進程:',os.getpid(),'預測下一個進程啟動會使用該進程號'
    lock.release()
list=[]
for i in range(10):#產生一個隨機數數組,模擬每次調用函數需要的輸入,這裡模擬總共有10組需要處理
    list.append(random.randint(1,10))
   
pool=multiprocessing.Pool(processes=3)#限制並行進程數為3
pool.map(a,list)#創建進程池,調用函數a,傳入參數為list,此參數必須是一個可迭代對象,因為map是在迭代創建每個進程

輸出:

0x03    線程處理方法:

#coding:utf-8
import threading
import random
import Queue
from time import sleep
import sys
#
#需求分析:有大批量數據需要執行,而且是重復一個函數操作(例如爆破密碼),如果全部開始線程數N多,這裡控制住線程數m個並行執行,其他等待
#
#繼承一個Thread類,在run方法中進行需要重復的單個函數操作
class Test(threading.Thread):
    def __init__(self,queue,lock,num):
        #傳遞一個隊列queue和線程鎖,並行數
        threading.Thread.__init__(self)
        self.queue=queue
        self.lock=lock
        self.num=num
    def run(self):
        #while True:#不使用threading.Semaphore,直接開始所有線程,程序執行完畢線程都還不死,最後的print threading.enumerate()可以看出
        with self.num:#同時並行指定的線程數量,執行完畢一個則死掉一個線程
            #以下為需要重復的單次函數操作
            n=self.queue.get()#等待隊列進入
            lock.acquire()#鎖住線程,防止同時輸出造成混亂
            print '開始一個線程:',self.name,'模擬的執行時間:',n
            print '隊列剩余:',queue.qsize()
            print threading.enumerate()
            lock.release()
            sleep(n)#執行單次操作,這裡sleep模擬執行過程
            self.queue.task_done()#發出此隊列完成信號
threads=[]
queue=Queue.Queue()
lock=threading.Lock()
num=threading.Semaphore(3)#設置同時執行的線程數為3,其他等待執行
#啟動所有線程
for i in range(10):#總共需要執行的次數
    t=Test(queue,lock,num)
    t.start()
    threads.append(t)
    #吧隊列傳入線程,是run結束等待開始執行,放下面單獨一個for也行,這裡少個循環吧
    n=random.randint(1,10)
    queue.put(n)#模擬執行函數的逐個不同輸入
#吧隊列傳入線程,是run結束等待開始執行
#for t in threads:
#    n=random.randint(1,10)
#    queue.put(n)
#等待線程執行完畢
for t in threads:
    t.join()
queue.join()#等待隊列執行完畢才繼續執行,否則下面語句會在線程未接受就開始執行
print '所有執行完畢'
print threading.active_count()
print threading.enumerate()

輸出:

下面關於Python的文章您也可能喜歡,不妨看看:

Python:在指定目錄下查找滿足條件的文件  http://www.linuxidc.com/Linux/2015-08/121283.htm

Python2.7.7源碼分析  http://www.linuxidc.com/Linux/2015-08/121168.htm

無需操作系統直接運行 Python 代碼  http://www.linuxidc.com/Linux/2015-05/117357.htm

CentOS上源碼安裝Python3.4  http://www.linuxidc.com/Linux/2015-01/111870.htm

《Python核心編程 第二版》.(Wesley J. Chun ).[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm

《Python開發技術詳解》.( 周偉,宗傑).[高清PDF掃描版+隨書視頻+代碼] http://www.linuxidc.com/Linux/2013-11/92693.htm

Python腳本獲取Linux系統信息 http://www.linuxidc.com/Linux/2013-08/88531.htm

在Ubuntu下用Python搭建桌面算法交易研究環境 http://www.linuxidc.com/Linux/2013-11/92534.htm

Python 語言的發展簡史 http://www.linuxidc.com/Linux/2014-09/107206.htm

Python 的詳細介紹:請點這裡
Python 的下載地址:請點這裡 

Copyright © Linux教程網 All Rights Reserved