線程池的概念是什么？

在面向?qū)ο缶幊讨校瑒?chuàng)建和銷毀對象是很費(fèi)時(shí)間的，因?yàn)閯?chuàng)建一個(gè)對象要獲取內(nèi)存資源或者其它更多資源。在Java 中更是 如此，虛擬機(jī)將試圖跟蹤每一個(gè)對象，以便能夠在對象銷毀后進(jìn)行垃圾回收。所以提高服務(wù)程序效率的一個(gè)手段就是盡可能減少創(chuàng)建和銷毀對象的次數(shù)，特別是一些 很耗資源的對象創(chuàng)建和銷毀。如何利用已有對象來服務(wù)就是一個(gè)需要解決的關(guān)鍵問題，其實(shí)這就是一些"池化資源"技術(shù)產(chǎn)生的原因。

我理解為線 程池是一個(gè)存放很多線程的單位，同時(shí)還有一個(gè)對應(yīng)的任務(wù)隊(duì)列。整個(gè)執(zhí)行過程其實(shí)就是使用線程池中已有有限的線程把任務(wù) 隊(duì)列中的任務(wù)做完。這樣做的好處就是你不需要為每個(gè)任務(wù)都創(chuàng)建一個(gè)線程，因?yàn)楫?dāng)你創(chuàng)建第100個(gè)線程來執(zhí)行第100個(gè)任務(wù)的時(shí)候，可能前面已經(jīng)有50個(gè)線 程結(jié)束工作了。因此重復(fù)利用線程來執(zhí)行任務(wù)，減少系統(tǒng)資源的開銷。

一個(gè)不怎么恰當(dāng)?shù)谋扔骶褪�，�?00臺電腦主機(jī)箱需要從1樓搬到2樓，你不需要喊來100人幫忙搬，你只需要叫十個(gè)或者二十個(gè)人就足以，每個(gè)人分配十個(gè)或者五個(gè)甚至是誰搬的快誰就多搬知道完成未知。（這個(gè)比喻好像。。。。。）

不管如何吧，大體上理解了線程池的概念。那么怎么用python實(shí)現(xiàn)呢？

代碼如下

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
    def __init__(self, work_num=1000,thread_num=2):
        self.work_queue = Queue.Queue()
        self.threads = []
        self.__init_work_queue(work_num)
        self.__init_thread_pool(thread_num)
    """
        初始化線程
    """
    def __init_thread_pool(self,thread_num):
        for i in range(thread_num):
            self.threads.append(Work(self.work_queue))
    """
        初始化工作隊(duì)列
    """
    def __init_work_queue(self, jobs_num):
        for i in range(jobs_num):
            self.add_job(do_job, i)
    """
        添加一項(xiàng)工作入隊(duì)
    """
    def add_job(self, func, *args):
        self.work_queue.put((func, list(args)))#任務(wù)入隊(duì)，Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制
    """
        檢查剩余隊(duì)列任務(wù)
    """
    def check_queue(self):
        return self.work_queue.qsize()
    """
        等待所有線程運(yùn)行完畢
    """ 
    def wait_allcomplete(self):
        for item in self.threads:
            if item.isAlive():item.join()
class Work(threading.Thread):
    def __init__(self, work_queue):
        threading.Thread.__init__(self)
        self.work_queue = work_queue
        self.start()
    def run(self):
        #死循環(huán)，從而讓創(chuàng)建的線程在一定條件下關(guān)閉退出
        while True:
            try:
                do, args = self.work_queue.get(block=False)#任務(wù)異步出隊(duì)，Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制
                do(args)
                self.work_queue.task_done()#通知系統(tǒng)任務(wù)完成
            except Exception,e:
                print str(e)
                break
#具體要做的任務(wù)
def do_job(args):
    print args
    time.sleep(0.1)#模擬處理時(shí)間
    print threading.current_thread(), list(args)
if __name__ == '__main__':
    start = time.time()
    work_manager =  WorkManager(10, 2)#或者work_manager =  WorkManager(10000, 20)
    work_manager.wait_allcomplete()
    end = time.time()
    print "cost all time: %s" % (end-start)

這個(gè)代碼清晰易懂。

整個(gè)代碼只有兩個(gè)類：WorkManager和Work，前者確實(shí)如命名所示，是一個(gè)管理者，管理線程池和任務(wù)隊(duì)列，而后者就是具體的一個(gè)線程。

它的整個(gè)運(yùn)行邏輯就是，給WorkManager分配制定的任務(wù)量和線程數(shù)，然后每個(gè)線程都從任務(wù)隊(duì)列中獲取任務(wù)來執(zhí)行，直到隊(duì)列中沒有任務(wù)。這里面也用到了Queue內(nèi)部的同步機(jī)制（至于是啥同步機(jī)制目前還沒去研究）。

總結(jié)一下這樣一個(gè)線程池的作用，對于我本來的目的其實(shí)這個(gè)東西是永不上的，因?yàn)槲倚枰�在web頁面來控制線程的啟動和停止，而這個(gè)線程池看起來只是用來并發(fā)完任務(wù)的。不過我想雖然在控制線程方面沒有作用，但是它的并發(fā)執(zhí)行任務(wù)的作用還是蠻不錯(cuò)，或許可以用在爬網(wǎng)頁的部分。

標(biāo)簽： 代碼

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。