共計 1212 個字符,預計需要花費 4 分鐘才能閱讀完成。
Python 多進程寫入同一文件的方法有以下幾種:
- 使用互斥鎖(Lock):多個進程共享一個互斥鎖,每次只允許一個進程獲得鎖進行寫入操作,其他進程需要等待鎖釋放。
import multiprocessing
def write_data(lock, filename, data):
with lock:
with open(filename, 'a') as file:
file.write(data)
if __name__ == '__main__':
lock = multiprocessing.Lock()
processes = []
for i in range(5):
p = multiprocessing.Process(target=write_data, args=(lock, 'data.txt', f'Process {i}\n'))
processes.append(p)
p.start()
for p in processes:
p.join()
- 使用進程池(Pool):創建一個進程池,將寫入任務添加到進程池中并執行。
import multiprocessing
def write_data(filename, data):
with open(filename, 'a') as file:
file.write(data)
if __name__ == '__main__':
with multiprocessing.Pool(processes=5) as pool:
for i in range(5):
pool.apply_async(write_data, ('data.txt', f'Process {i}\n'))
pool.close()
pool.join()
- 使用隊列(Queue):創建一個進程間通信的隊列,將寫入數據放入隊列中,由一個進程負責從隊列中取出數據并寫入文件。
import multiprocessing
def write_data(filename, queue):
with open(filename, 'a') as file:
while not queue.empty():
data = queue.get()
file.write(data)
if __name__ == '__main__':
queue = multiprocessing.Queue()
for i in range(5):
queue.put(f'Process {i}\n')
processes = []
for i in range(5):
p = multiprocessing.Process(target=write_data, args=('data.txt', queue))
processes.append(p)
p.start()
for p in processes:
p.join()
無論使用哪種方法,都需要注意文件寫入的時候可能會出現競爭條件(如兩個進程同時寫入文件),因此需要使用適當的同步機制來保證數據的完整性和一致性。
丸趣 TV 網 – 提供最優質的資源集合!
正文完