Python多进程共享numpy(数组的方法)

这篇文章主要介绍了Python多进程共享numpy 数组的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

Python多进程共享numpy,数组的方法,久久派带你了解更多相关信息。

为什么要用numpy

Python中提供了list容器,可以当作数组使用。但列表中的元素可以是任何对象,因此列表中保存的是对象的指针,这样一来,为了保存一个简单的列表[1,2,3]。就需要三个指针和三个整数对象。对于数值运算来说,这种结构显然不够高效。
Python虽然也提供了array模块,但其只支持一维数组,不支持多维数组(在TensorFlow里面偏向于矩阵理解),也没有各种运算函数。因而不适合数值运算。
NumPy的出现弥补了这些不足。

引用:https://zhuanlan.zhihu.com/p/32513483

共享 numpy 数组

需要用到 numpy 时往往是数据量较大的场景,如果直接复制会造成大量内存浪费。共享 numpy 数组则是通过上面一节的 Array 实现,再用 numpy.frombuffer 以及 reshape 对共享的内存封装成 numpy 数组,代码如下:

# encoding:utf8import ctypesimport osimport multiprocessingimport numpy as npNUM_PROCESS = multiprocessing.cpu_count()def worker(index):    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)    pid = os.getpid()    main_nparray[index, :] = pid    return pidif __name__ == \"__main__\":    shared_array_base = multiprocessing.Array(        ctypes.c_double, NUM_PROCESS * 10, lock=False)    pool = multiprocessing.Pool(processes=NUM_PROCESS)    result = pool.map(worker, range(NUM_PROCESS))    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)    print( main_nparray )

运行结果:

Python多进程共享numpy(数组的方法)

到此这篇关于Python多进程共享numpy 数组的方法的文章就介绍到这了,更多相关Python多进程共享numpy 数组内容请搜索趣讯吧以前的文章或继续浏览下面的相关文章希望大家以后多多支持趣讯吧!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 203304862@qq.com 举报,一经查实,本站将立刻删除。转转请注明出处:https://www.szhjjp.com/n/8177.html

发表评论

登录后才能评论