python 并發(fā)subprocess.Popen的坑
2018-07-20 來(lái)源：編程學(xué)習(xí)網(wǎng)
表現(xiàn)
一個(gè)父進(jìn)程里多個(gè)線程并發(fā)地調(diào)用 subprocess.Popen 來(lái)創(chuàng)建子進(jìn)程的時(shí)候, 會(huì)有幾率出現(xiàn) Popen 長(zhǎng)時(shí)間不返回的情況.
這個(gè)問(wèn)題是由于fd被多個(gè)子進(jìn)程同時(shí)繼承導(dǎo)致的.
重現(xiàn)問(wèn)題的代碼
下面這個(gè)小程序啟動(dòng)2個(gè)線程, 每個(gè)線程各自(通過(guò) subprocess.Popen )啟動(dòng)一個(gè)子進(jìn)程, 一個(gè)子進(jìn)程執(zhí)行 echo 1 后就直接返回; 另一個(gè)子進(jìn)程啟動(dòng)后, sleep 0.03 秒后返回.
程序里統(tǒng)計(jì)了2個(gè)調(diào)用 Popen 花的時(shí)間, 運(yùn)行后可以發(fā)現(xiàn), echo的進(jìn)程有時(shí)啟動(dòng)很快(小于預(yù)期的0.01秒, 僅僅是啟動(dòng), 不包括執(zhí)行時(shí)間), 有時(shí)會(huì)很慢(超過(guò)0.03秒), 剛好和另一個(gè)sleep的進(jìn)程執(zhí)行時(shí)間吻合. 調(diào)大sleep子進(jìn)程的時(shí)間可以看到echo也會(huì)同樣有幾率返回慢.
# > cat slow.py
import threading
import subprocess
import time
def _open(cmd, expect):
t0 = time.time()
proc = subprocess.Popen(
cmd,
shell=True,
# # without this line, some Popen does not return at once as expected
# close_fds=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)
spent = time.time() - t0
if spent > expect:
print cmd + ' spent: ' + str(spent)
proc.wait()
for ii in range(100):
ths = [
threading.Thread(target=_open, args=('echo 1', 0.01)),
threading.Thread(target=_open, args=('sleep 0.03', 0.05)),
]
for th in ths:
th.start()
for th in ths:
th.join()
# > python2 slow.py
# echo 1 spent: 0.0381829738617
# echo 1 spent: 0.041118144989
# echo 1 spent: 0.0417079925537
# echo 1 spent: 0.0421600341797
# echo 1 spent: 0.039479970932
# ...
運(yùn)行環(huán)境:
# uname -a Linux ** 3.10.0-327.el7.x86_64 #1 SMP Thu Nov 19 22:10:57 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux # python2 --version Python 2.7.5 # cat /etc/*-release CentOS Linux release 7.2.1511 (Core)
解決方法
Popen 時(shí)加上 close_fds=True , 保證fd不會(huì)被多個(gè)子進(jìn)程繼承.
proc = subprocess.Popen(
cmd,
close_fds=True, # here
...
)
原因
直接原因是因?yàn)橛胁l(fā)時(shí), Popen中創(chuàng)建的pipe沒(méi)有被關(guān)閉, 導(dǎo)致父進(jìn)程認(rèn)為子進(jìn)程還沒(méi)啟動(dòng)成功而一直阻塞.
這里的 Popen 的過(guò)程, 包括:
- 父進(jìn)程創(chuàng)建通信的管道(調(diào)用 os.pipe() )
- fork子進(jìn)程
- 父進(jìn)程通過(guò)pipe阻塞讀取子進(jìn)程的啟動(dòng)后的錯(cuò)誤消息, 確認(rèn)失敗;
- 或讀取到EOF(pipe在子進(jìn)程exec時(shí)被關(guān)閉), 確認(rèn)成功.
Popen 調(diào)用的最核心的代碼是 subprocess.py 中的 _execute_child , 問(wèn)題的原因可以從下面這段簡(jiǎn)化版的代碼中看到:
def _execute_child(self, args, executable, preexec_fn, close_fds,
cwd, env, universal_newlines,
startupinfo, creationflags, shell, to_close,
p2cread, p2cwrite,
c2pread, c2pwrite,
errread, errwrite):
# 1) 創(chuàng)建pipe用于父子進(jìn)程通信...
errpipe_read, errpipe_write = self.pipe_cloexec()
try:
try:
# 2) 3)
self.pid = os.fork()
if self.pid == 0:
# 子進(jìn)程流程
try:
# 5) 子進(jìn)程關(guān)閉讀的pipe: 不需要接受父進(jìn)程的消息
os.close(errpipe_read)
# 如果需要, 子進(jìn)程關(guān)閉所有打開的文件描述符.
# 只留下用于告之父進(jìn)程錯(cuò)誤的pipe
if close_fds:
self._close_fds(but=errpipe_write)
# 7) 子進(jìn)程加載程序
os.execvp(executable, args)
except:
exc_type, exc_value, tb = sys.exc_info()
exc_lines = traceback.format_exception(exc_type,
exc_value,
tb)
exc_value.child_traceback = ''.join(exc_lines)
# 通過(guò)pipe通知父進(jìn)程錯(cuò)誤信息
os.write(errpipe_write, pickle.dumps(exc_value))
# 子進(jìn)程如果出錯(cuò), 直接退出. 退出會(huì)關(guān)閉所有pipe
os._exit(255)
# 以下是父進(jìn)程的流程
finally:
# 4) 父進(jìn)程不需要通知子進(jìn)程錯(cuò)誤消息, 直接關(guān)閉pipe的寫入端.
os.close(errpipe_write)
# 6) 父進(jìn)程阻塞的讀取子進(jìn)程發(fā)來(lái)的錯(cuò)誤消息.
data = _eintr_retry_call(os.read, errpipe_read, 1048576)
finally:
# 無(wú)論成功與否, 父進(jìn)程不再需要從子進(jìn)程讀取任何消息了, 關(guān)閉pipe的讀取端.
os.close(errpipe_read)
if data != "":
# 父進(jìn)程的錯(cuò)誤處理...
# 8) 9)
我們把上面的代碼的執(zhí)行過(guò)程整理成時(shí)間表, 如下:
| 步驟 | 時(shí)間 | 動(dòng)作 | echo線程 | sleep線程 | 父進(jìn)程打開的fd | echo子進(jìn)程的fd | sleep子進(jìn)程的fd |
|---|---|---|---|---|---|---|---|
| 1 | 0.00 | 創(chuàng)建通信的pipe | 4,5=os.pipe() | 6,7=os.pipe() | 4,5,6,7 | - | - |
| 2 | 0.00 | echo線程fork | fork | - | 4,5,6,7 | 4,5,6,7 | - |
| 3 | 0.00 | sleep線程fork | - | fork | 4,5,6,7 | 4,5,6,7 | 4,5,6,7 |
| 4 | 0.00 | 父進(jìn)程關(guān)閉寫pipe | close(5) | close(7) | 4,-,6,- | 4,5,6,7 | 4,5,6,7 |
| 5 | 0.00 | 子進(jìn)程關(guān)閉讀pipe | - | - | 4,-,6,- | -,5,6,7 | 4,5,-,7 |
| 6 | 0.00 | 父進(jìn)程阻塞讀 | read(4)… | read(6)… | 4,-,6,- | -,5,6,7 | 4,5,-,7 |
| 7 | 0.00 | 子進(jìn)程exec, 關(guān)閉自己的的pipe-fd | - | - | 4,-,6,- | -,-,6,7 | 4,5,-,- |
| 8 | 0.01 | echo子進(jìn)程結(jié)束, sleep線程返回 | - | read(6):done | 4,-,6,- | -,-,-,- | 4,5,-,- |
| 9 | 0.03 | sleep子進(jìn)程結(jié)束, echo線程返回 | read(4):done | - | 4,-,6,- | -,-,-,- |
Popen 調(diào)用時(shí)創(chuàng)建1對(duì)pipe和子進(jìn)程通信, Popen 返回時(shí), 子進(jìn)程就已經(jīng)創(chuàng)建成功, pipe也在子進(jìn)程exec時(shí)關(guān)閉了.
但如果同時(shí)有2個(gè) Popen 在調(diào)用, 父進(jìn)程中會(huì)同時(shí)出現(xiàn)2對(duì)或幾對(duì)pipe.
這幾對(duì)pipe會(huì)在fork時(shí)被繼承到子進(jìn)程. 子進(jìn)程在進(jìn)行exec之前(創(chuàng)建pipe時(shí)), 已經(jīng)將pipe的fd設(shè)置FD_CLOEXEC: 執(zhí)行exec時(shí)自動(dòng)關(guān)閉fd. 但并沒(méi)有對(duì)其他fd進(jìn)行這個(gè)設(shè)置 .
因此, 如果并發(fā)地調(diào)用 Popen , 1個(gè)子進(jìn)程會(huì)在fork時(shí)帶著為別的子進(jìn)程準(zhǔn)備的pipe fd, 并且不會(huì)關(guān)閉它們(因?yàn)樽舆M(jìn)程只知道自己的pipe fd, 沒(méi)有設(shè)置 close_fds 時(shí), 它不會(huì)魯莽地關(guān)閉其他fd)! 這樣1個(gè)pipe fd本應(yīng)在父子進(jìn)程這2個(gè)進(jìn)程之間共享, 卻意外地會(huì)在3個(gè)或更多的進(jìn)程中處于打開狀態(tài).
而父進(jìn)程中的Popen在阻塞的read pipe, 自己的子進(jìn)程exec后自動(dòng)關(guān)閉了這個(gè)pipe fd, 進(jìn)而讓父進(jìn)程結(jié)束read, 但還有另外一個(gè)進(jìn)程在打開著這個(gè)pipe fd(步驟7)(我們的例子中是sleep子進(jìn)程繼承了echo 子進(jìn)程的pipe fd并且沒(méi)有關(guān)閉), 父進(jìn)程中的read不會(huì)檢查到fd關(guān)閉, 一直保持阻塞讀的狀態(tài).
直到所有繼承了這個(gè)pipe fd的進(jìn)程都退出了, 父進(jìn)程的read才能結(jié)束(sleep子進(jìn)程退出時(shí), 自動(dòng)關(guān)閉了所有fd, 包括為echo子進(jìn)程準(zhǔn)備的pipe fd, 到此時(shí)父進(jìn)程read才能收到1個(gè)EOF并退出read的阻塞).
來(lái)自：http://drmingdrmer.github.io/tech/programming/2017/11/20/python-concurrent-popen.html
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
