python 多处理中的共享变量

2025-02-27 09:06:00
admin
原创
83
摘要:问题描述:第一个问题是 Value 和 Manager().Value 有什么区别?其次,是否可以不使用 Value 来共享整数变量?下面是我的示例代码。我想要的是获取一个值为整数而不是 Value 的字典。我所做的只是在处理之后将其全部更改。有没有更简单的方法?from multiprocessing im...

问题描述:

第一个问题是 Value 和 Manager().Value 有什么区别?

其次,是否可以不使用 Value 来共享整数变量?下面是我的示例代码。我想要的是获取一个值为整数而不是 Value 的字典。我所做的只是在处理之后将其全部更改。有没有更简单的方法?

from multiprocessing import Process, Manager

def f(n):
    n.value += 1

if __name__ == '__main__':
    d = {}
    p = []

    for i in range(5):
        d[i] = Manager().Value('i',0)
        p.append(Process(target=f, args=(d[i],)))
        p[i].start()

    for q in p:
        q.join()

    for i in d:
        d[i] = d[i].value

    print d

解决方案 1:

使用时,Value您将获得ctypes共享内存中的一个对象,默认情况下,该对象使用 进行同步RLock。使用时,Manager您将获得一个SynManager控制服务器进程的对象,该进程允许其他进程操纵对象值。您可以使用同一个管理器创建多个代理;无需在循环中创建新的管理器:

manager = Manager()
for i in range(5):
    new_value = manager.Value('i', 0)

可以Manager跨计算机共享,但Value仅限于一台计算机。 Value会更快(运行下面的代码查看),所以我认为你应该使用它,除非你需要支持任意对象或通过网络访问它们。

import time
from multiprocessing import Process, Manager, Value


def foo(data, name=''):
    print(type(data), data.value, name)
    data.value += 1


if __name__ == "__main__":
    manager = Manager()
    x = manager.Value('i', 0)
    y = Value('i', 0)

    for i in range(5):
        Process(target=foo, args=(x, 'x')).start()
        Process(target=foo, args=(y, 'y')).start()

    print('Before waiting: ')
    print('x = {0}'.format(x.value))
    print('y = {0}'.format(y.value))

    time.sleep(5.0)
    print('After waiting: ')
    print('x = {0}'.format(x.value))
    print('y = {0}'.format(y.value))

总结一下:

  1. 用于Manager创建多个共享对象,包括字典和列表。用于Manager在网络上的计算机之间共享数据。

  2. 当不需要通过网络共享信息并且中的类型足以满足您的需要时,请使用Value或。Array`ctypes`

  3. Value比 快Manager

警告

顺便说一句,应尽可能避免跨进程/线程共享数据。上面的代码可能会按预期运行,但增加执行时间foo,事情就会变得奇怪。将上面的代码与以下内容进行比较:

def foo(data, name=''):
    print type(data), data.value, name
    for j in range(1000):
        data.value += 1

您需要一个Lock才能使其正常工作。

我对这一切并不特别了解,所以也许其他人会来提供更多见解。我想我会贡献一个答案,因为这个问题没有引起人们的注意。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   3018  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1880  
  PLM(产品生命周期管理)系统在企业产品研发、生产与管理过程中发挥着至关重要的作用。它能够整合产品全生命周期中的各类数据与流程,提升企业的协同效率、降低成本并加速产品上市。然而,不同企业由于业务模式、产品特性以及管理理念的差异,对PLM系统有着个性化的需求。如何实现这些个性化需求,成为企业在实施PLM系统定制开发时面临...
免费plm软件   0  
  在企业的发展进程中,跨地域协同工作变得愈发普遍和重要。不同地区的团队需要紧密合作,以实现资源共享、提高效率和创新能力。而产品生命周期管理(PLM)系统在这一过程中发挥着关键作用,尤其是其分布式架构,为跨地域协同提供了强大的支持。PLM系统概述PLM系统是一种用于管理产品从概念设计到退役全生命周期过程中所有数据和流程的软...
免费plm管理软件   0  
  在企业项目管理中,资源平衡是确保项目顺利推进、提高效率与效益的关键环节。产品生命周期管理(PLM)系统作为整合产品全生命周期信息与流程的重要工具,为实现资源平衡提供了强大的支持。通过合理运用PLM系统,企业能够优化资源分配、提升协同效率,从而在激烈的市场竞争中占据优势。接下来,我们将深入探讨如何借助PLM系统实现资源平...
plm系统   0  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用