推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
xiaotiange
V2EX  ›  Python

Python 如何并行实现一个列表复制到另外一个列表

  •  
  •   xiaotiange · Jan 8, 2019 · 4156 views
    This topic created in 2857 days ago, the information mentioned may be changed or developed.

    有这么一个需求:需要从一个列表中( inx )查找数据的下标(inx_),然后根据下标从一个列表( pserver )复制到另外一个列表(parameters),由于 ndown 的值非常的大,循环过程很慢

    for elmn in range(ndown):
        inx_ = inx[elmn - ndown]
        parameters[inx_] = pserver[inx_]
    

    我考虑了多线程,但是实验效果对于 cpu 密集型的计算不是很大。 多进程也试了一下,提升也不是很大。 请问,有什么好的方法提升这个速度

    15 replies  •  2019-01-22 15:57:06 +08:00
    hxse
    hxse
    Jan 8, 2019
    1
    复制??
    为什么不用切片
    congeec
    congeec
    Jan 8, 2019 via iPhone
    2
    这是把 python 当 C 用了
    一楼说的对
    条件允许的话用 numpy.array 会更快
    imn1
    imn1
    Jan 8, 2019
    3
    1.实测(洋人实测,不是我),在列表比较大时,列表表达式比 for 循环快
    建议把语句写到 fun,用[fun(x) for x in list]
    2.不知道你这是举例还是正式的语句,第一句可以省略吧?改改 start/end,inx_就出来了,不必算
    3.用 numpy/pandas 按条件提取很快的
    xiaotiange
    xiaotiange
    OP
    Jan 8, 2019 via Android
    4
    @hxse 不是整块复制,需要检索下标,对应复制
    crazycabbage
    crazycabbage
    Jan 8, 2019❤️1
    5
    ```
    import numpy as np
    a = np.array([1,2,3,4,5])
    b = np.array([6,7,8,9,10])
    b[[0,2,4]] = a[[0,2,4]]

    In [11]: b
    Out[11]: array([1, 7, 3, 9, 5])
    ```
    xpresslink
    xpresslink
    Jan 8, 2019
    6
    楼主一定是不太了解 Python 的切片有多方便。
    >>> a = [0,0,0,0,0,0]
    >>> b = [1,2,3,4,5,6,7,8,9]
    >>> a[2:5] = b[4:7]
    >>> a
    [0, 0, 5, 6, 7, 0]
    >>>
    gaoan000
    gaoan000
    Jan 8, 2019 via Android
    8
    @xpresslink 我觉得楼主会用到多线程就不应该不会切片,估计是别的地方
    Gakho
    Gakho
    Jan 8, 2019
    9
    不知道楼主的多进程时怎么用的?能不能用 GIST 贴一下代码
    xpresslink
    xpresslink
    Jan 8, 2019
    10
    @gaoan000 嗯,从楼短短的几行 Python 代码来看,估计楼主会用 java 的多线程 /doge/
    Yuanoung
    Yuanoung
    Jan 8, 2019
    11
    可以试下循环展开
    Aliencn
    Aliencn
    Jan 8, 2019
    12
    数据量太多我一般就用数据库了,不在 python 的内存里折腾了
    lrxiao
    lrxiao
    Jan 9, 2019
    13
    这是想要 MPI OpenMP 那种自动向量化吗,numpy numba cython 什么的搞吧
    lrxiao
    lrxiao
    Jan 9, 2019
    14
    你多进程怎么搞的...
    lovezww2011
    lovezww2011
    Jan 22, 2019
    15
    @imn1 哈哈 洋人实测
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3387 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 10:34 · PVG 18:34 · LAX 02:34 · JFK 05:34
    ♥ Do have faith in what you're doing.