推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
mulandidi
V2EX  ›  Python

Python 小白, 请教各位大佬一个如何能够优化这个方法?

  •  
  •   mulandidi · May 10, 2020 · 3347 views
    This topic created in 2370 days ago, the information mentioned may be changed or developed.

    我有一个很长的 dataframe,100w 左右吧, df = pd.DataFrame(columns =['id']),我现在想要重新计算一个新列, 逻辑是 在第 i 行,利用第 i,i-1,i-2 的 id 列三个数值计算,我现在是用循环计算的,感觉很慢,非常丧,用多线程啥的感觉好像太重了

    不知道大家有什么好的方法,感谢

    7 replies  •  2020-05-11 11:38:33 +08:00
    llsquaer
    llsquaer
    May 10, 2020
    1
    没明白你具体..如果计算其中三行 某列的数据,直接取 index 就行了啊..100w 数据也是毫秒的事情..还用什么循环?
    imn1
    imn1
    May 10, 2020❤️1
    2
    你搜搜官方文档关于移动统计的章节,应该是“Expanding Windows”相关的内容
    移动统计就是用前 n 行数据计算当前新数据,时序类型数据经常需要,例如证券
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    May 10, 2020 via iPhone
    3
    sql window function lag
    yzc27
    yzc27
    May 10, 2020 via iPhone
    4
    用 apply()?
    renmu
    renmu
    May 10, 2020 via Android
    5
    d[i]=d[i-1]+d[i-2]这样?,直接操作
    mulandidi
    mulandidi
    OP
    May 10, 2020
    6
    @imn1 对,是时序数据,感谢了,用自带的 rolling 可以
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2783 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 10:40 · PVG 18:40 · LAX 02:40 · JFK 05:40
    ♥ Do have faith in what you're doing.