python并行處理數據怎么實現

145次閱讀

共計 952 個字符，預計需要花費 3 分鐘才能閱讀完成。

在 Python 中實現并行處理數據有多種方式，以下是兩種常見的方式：

使用 multiprocessing 模塊：multiprocessing模塊提供了一個類似于多線程的接口，可以使用多個進程來并行處理數據。通過創建多個進程，可以將數據分成多個部分，然后每個進程處理其中的一部分數據，最后再將處理結果合并起來。

import multiprocessing

def process_data(data):
    # 處理數據的函數
    result = ...
    return result

def main():
    data = ...
    num_processes = multiprocessing.cpu_count()  # 獲取 CPU 核心數
    pool = multiprocessing.Pool(num_processes)
    results = pool.map(process_data, data)  # 使用多個進程并行處理數據
    pool.close()
    pool.join()
    # 處理結果
    ...

if __name__ == "__main__":
    main()

使用 concurrent.futures 模塊：concurrent.futures模塊提供了一個高級的接口，可以更方便地實現并行處理數據。通過使用 ThreadPoolExecutor 或ProcessPoolExecutor，可以創建線程池或進程池來并行處理數據。

import concurrent.futures

def process_data(data):
    # 處理數據的函數
    result = ...
    return result

def main():
    data = ...
    with concurrent.futures.ProcessPoolExecutor() as executor:  # 創建進程池
        results = executor.map(process_data, data)  # 使用多個進程并行處理數據
    # 處理結果
    ...

if __name__ == "__main__":
    main()