multiprocessing.Pool:何时使用apply、apply_async 还是 map?

2025-01-08 08:50:00
admin
原创
139
摘要:问题描述:我还没有看到Pool.apply、Pool.apply_async和Pool.map用例的清晰示例。我主要使用Pool.map;其他的优点是什么?解决方案 1:在 Python 的早期,要调用带有任意参数的函数,你可以使用apply:apply(f,args,kwargs) applyPython2...

问题描述:

我还没有看到Pool.apply、Pool.apply_async和Pool.map用例的清晰示例。我主要使用Pool.map;其他的优点是什么?


解决方案 1:

在 Python 的早期,要调用带有任意参数的函数,你可以使用apply

apply(f,args,kwargs)

applyPython2.7 中仍然存在,但在 Python3 中不存在,并且通常不再使用。如今,

f(*args,**kwargs)

是首选。multiprocessing.Pool模块尝试提供类似的接口。

Pool.apply与 Python 类似apply,只是函数调用是在单独的进程中执行的。Pool.apply阻塞直到函数完成。

Pool.apply_async也类似于 Python 的内置apply,不同之处在于调用会立即返回,而不是等待结果。AsyncResult返回一个对象。您可以调用其get()方法来检索函数调用的结果。该get()方法会阻塞,直到函数完成。因此,pool.apply(func, args, kwargs)相当于pool.apply_async(func, args, kwargs).get()

与 相比Pool.apply,该Pool.apply_async方法还具有回调功能(如果提供),该回调功能将在函数完成时调用。这可以用来代替调用get()

例如:

import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    # This is called whenever foo_pool(i) returns a result.
    # result_list is modified only by the main process, not the pool workers.
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()

可能会产生如下结果

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

请注意,与不同pool.map,结果的顺序可能与调用的顺序不一致pool.apply_async


因此,如果您需要在单独的进程中运行一个函数,但希望当前进程阻塞直到该函数返回,请使用Pool.apply。与 一样Pool.applyPool.map阻塞直到返回完整的结果。

如果希望工作进程池异步执行许多函数调用,请使用Pool.apply_async。结果的顺序不保证与调用的顺序相同Pool.apply_async

还要注意,您可以调用多个不同的函数Pool.apply_async(并非所有调用都需要使用相同的函数)。

相比之下,Pool.map将同一函数应用于多个参数。但是,与不同的是Pool.apply_async,结果将按照与参数顺序相对应的顺序返回。

解决方案 2:

以下是表格形式的概述,以显示Pool.apply、和之间的区别。选择其中一个时,您必须考虑多参数、并发、阻塞和排序:Pool.apply_async`Pool.map`Pool.map_async

                  | Multi-args   Concurrence    Blocking     Ordered-results
---------------------------------------------------------------------
Pool.map          | no           yes            yes          yes
Pool.map_async    | no           yes            no           yes
Pool.apply        | yes          no             yes          no
Pool.apply_async  | yes          yes            no           no
Pool.starmap      | yes          yes            yes          yes
Pool.starmap_async| yes          yes            no           no

笔记:

  • Pool.imapPool.imap_async– map 和 map_async 的更懒惰版本。

  • Pool.starmap方法,除了可以接受多个参数外,与 map 方法非常相似。

  • Async方法一次性提交所有流程,并在完成后检索结果。使用 get 方法获取结果。

  • Pool.map(或Pool.apply)方法与Python内置的map(或apply)非常相似。它们会阻塞主进程,直到所有进程完成并返回结果。

例子:

地图

一次性调用作业列表

results = pool.map(func, [1, 2, 3])

申请

只能被叫去执行一项任务

for x, y in [[1, 1], [2, 2]]:
    results.append(pool.apply(func, (x, y)))

def collect_result(result):
    results.append(result)

map_async

一次性调用作业列表

pool.map_async(func, jobs, callback=collect_result)

apply_async

只能为一个作业调用,并在后台并行执行一个作业

for x, y in [[1, 1], [2, 2]]:
    pool.apply_async(worker, (x, y), callback=collect_result)

星图

pool.map支持多个参数的变体

pool.starmap(func, [(1, 1), (2, 1), (3, 1)])

starmap_async

starmap() 和 map_async() 的组合,对可迭代对象中的可迭代对象进行迭代,并使用解包后的可迭代对象调用 func。返回结果对象。

pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)

参考:

完整文档请见:https: //docs.python.org/3/library/multiprocessing.html

解决方案 3:

关于applyvs map

pool.apply(f, args)f仅在池中的一个工作进程中执行。因此,池中的一个进程将运行f(args)

pool.map(f, iterable):此方法将可迭代对象切分为多个块,并将其作为单独的任务提交给进程池。这样您就可以利用池中的所有进程。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   2500  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1541  
  PLM(产品生命周期管理)项目对于企业优化产品研发流程、提升产品质量以及增强市场竞争力具有至关重要的意义。然而,在项目推进过程中,范围蔓延是一个常见且棘手的问题,它可能导致项目进度延迟、成本超支以及质量下降等一系列不良后果。因此,有效避免PLM项目范围蔓延成为项目成功的关键因素之一。以下将详细阐述三大管控策略,助力企业...
plm系统   16  
  PLM(产品生命周期管理)项目管理在企业产品研发与管理过程中扮演着至关重要的角色。随着市场竞争的加剧和产品复杂度的提升,PLM项目面临着诸多风险。准确量化风险优先级并采取有效措施应对,是确保项目成功的关键。五维评估矩阵作为一种有效的风险评估工具,能帮助项目管理者全面、系统地评估风险,为决策提供有力支持。五维评估矩阵概述...
免费plm软件   23  
  引言PLM(产品生命周期管理)开发流程对于企业产品的全生命周期管控至关重要。它涵盖了从产品概念设计到退役的各个阶段,直接影响着产品质量、开发周期以及企业的市场竞争力。在当今快速发展的科技环境下,客户对产品质量的要求日益提高,市场竞争也愈发激烈,这就使得优化PLM开发流程成为企业的必然选择。缺陷管理工具和六西格玛方法作为...
plm产品全生命周期管理   26  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用