python 多处理中的共享变量

2025-02-27 09:06:00
admin
原创
84
摘要:问题描述:第一个问题是 Value 和 Manager().Value 有什么区别?其次,是否可以不使用 Value 来共享整数变量?下面是我的示例代码。我想要的是获取一个值为整数而不是 Value 的字典。我所做的只是在处理之后将其全部更改。有没有更简单的方法?from multiprocessing im...

问题描述:

第一个问题是 Value 和 Manager().Value 有什么区别?

其次,是否可以不使用 Value 来共享整数变量?下面是我的示例代码。我想要的是获取一个值为整数而不是 Value 的字典。我所做的只是在处理之后将其全部更改。有没有更简单的方法?

from multiprocessing import Process, Manager

def f(n):
    n.value += 1

if __name__ == '__main__':
    d = {}
    p = []

    for i in range(5):
        d[i] = Manager().Value('i',0)
        p.append(Process(target=f, args=(d[i],)))
        p[i].start()

    for q in p:
        q.join()

    for i in d:
        d[i] = d[i].value

    print d

解决方案 1:

使用时,Value您将获得ctypes共享内存中的一个对象,默认情况下,该对象使用 进行同步RLock。使用时,Manager您将获得一个SynManager控制服务器进程的对象,该进程允许其他进程操纵对象值。您可以使用同一个管理器创建多个代理;无需在循环中创建新的管理器:

manager = Manager()
for i in range(5):
    new_value = manager.Value('i', 0)

可以Manager跨计算机共享,但Value仅限于一台计算机。 Value会更快(运行下面的代码查看),所以我认为你应该使用它,除非你需要支持任意对象或通过网络访问它们。

import time
from multiprocessing import Process, Manager, Value


def foo(data, name=''):
    print(type(data), data.value, name)
    data.value += 1


if __name__ == "__main__":
    manager = Manager()
    x = manager.Value('i', 0)
    y = Value('i', 0)

    for i in range(5):
        Process(target=foo, args=(x, 'x')).start()
        Process(target=foo, args=(y, 'y')).start()

    print('Before waiting: ')
    print('x = {0}'.format(x.value))
    print('y = {0}'.format(y.value))

    time.sleep(5.0)
    print('After waiting: ')
    print('x = {0}'.format(x.value))
    print('y = {0}'.format(y.value))

总结一下:

  1. 用于Manager创建多个共享对象,包括字典和列表。用于Manager在网络上的计算机之间共享数据。

  2. 当不需要通过网络共享信息并且中的类型足以满足您的需要时,请使用Value或。Array`ctypes`

  3. Value比 快Manager

警告

顺便说一句,应尽可能避免跨进程/线程共享数据。上面的代码可能会按预期运行,但增加执行时间foo,事情就会变得奇怪。将上面的代码与以下内容进行比较:

def foo(data, name=''):
    print type(data), data.value, name
    for j in range(1000):
        data.value += 1

您需要一个Lock才能使其正常工作。

我对这一切并不特别了解,所以也许其他人会来提供更多见解。我想我会贡献一个答案,因为这个问题没有引起人们的注意。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   3101  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1882  
  产品生命周期管理(PLM)项目对于企业优化产品研发流程、提升产品质量以及增强市场竞争力至关重要。在实际的PLM项目推进过程中,单一的管理模式往往难以满足复杂多变的需求,混合管理模式应运而生。混合管理模式融合了多种管理理念与方法的优势,能够更好地应对PLM项目中的各种挑战。接下来,我们将深入探讨PLM项目中混合管理模式的...
plm流程是什么   6  
  项目风险的有效管理对于项目的成功至关重要。PLM(产品生命周期管理)系统作为一种强大的工具,在项目风险管理中发挥着关键作用。通过合理运用PLM系统的功能,能够准确识别、评估和应对项目中的各种风险,确保项目按计划推进,达成预期目标。PLM系统在项目风险管理中的角色定位PLM系统贯穿于产品从概念设计到退役的整个生命周期。在...
plm软件有哪些   5  
  虚拟团队协作在当今的项目运作中愈发重要,PLM(产品生命周期管理)系统作为强大的管理工具,能为虚拟团队协作提供多方面支持。通过一系列有效的沟通工具,PLM系统可以打破地理、时间等限制,提升团队协作效率,确保项目顺利推进。以下将详细介绍PLM系统支持虚拟团队协作的6个沟通工具。即时通讯工具即时通讯工具是PLM系统中促进团...
plm系统有什么功能和意义   6  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用