推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
LiebeLee
V2EX  ›  Python

「求助」gunicorn+flask 如何实现多进程同步?

  •  
  •   LiebeLee · Dec 22, 2020 via iPhone · 3875 views
    This topic created in 2160 days ago, the information mentioned may be changed or developed.

    刚接手了一个公司内部用的项目,用的是 gunicorn+Flask 写的一个 web 服务。 由于执行的有部分业务是分析数据,耗时较长,所以想将该流程拆分,将分析任务拆分成小粒度的流程,自己请求自己,将任务分派给其他 worker 。 但是因为要控制执行分析任务的个数,避免占用太多资源,想用共享变量进行同步,而 gunicorn 框架的多进程是在其框架代码内部 fork 的,不清楚该如何实现进程间同步,请各位指点~ 文件结构 :

    |--app |-- init.py |-- module1 |-- module2 |-- gun.conf

    app/init.py from flask import Flask app = Flask(name)

    使用 gunicorn -c gun.conf app:app 的方式启动 gun.conf 指定 worker_class = 'gevent'

    感谢!

    11 replies  •  2020-12-25 07:05:27 +08:00
    knightdf
    knightdf
    Dec 22, 2020
    1
    直接丢给 celery 做不行么?
    maocat
    maocat
    Dec 22, 2020
    2
    rpc ?
    LiebeLee
    LiebeLee
    OP
    Dec 22, 2020 via iPhone
    3
    @knightdf 之前没接触过,项目里也没有这个,我们想尽量少引入新的模块或者组件依赖,不过也可以去了解一下,多谢!
    LiebeLee
    LiebeLee
    OP
    Dec 22, 2020 via iPhone
    4
    @maocat 啥意思?这个本身应该也算 rpc,只是分派任务的 worker 需要知道总共有多少个 worker 在做分析任务(包括不是这次分派出去的),要约束总的跑分析任务的 worker 个数,避免阻塞其他业务。
    julyclyde
    julyclyde
    Dec 22, 2020
    5
    建议把 web 和实际处理分离开
    iConnect
    iConnect
    Dec 23, 2020 via Android
    6
    单独启动一个应用去处理数据,除非你的数据是和 web 上下文绑定,否则没必要混在一起搞。
    SjwNo1
    SjwNo1
    Dec 24, 2020
    7
    分析数据实时性邀请高吗,不高的话异步或者交给 crontab
    SjwNo1
    SjwNo1
    Dec 24, 2020
    8
    @SjwNo1 邀请高吗 --> 要求高吗
    frankchen
    frankchen
    Dec 24, 2020
    9
    用 celery~
    0bit
    0bit
    Dec 25, 2020
    10
    推进试试 RQ ( https://python-rq.org/ ),比 Celery 要简单。
    这种场景下没必要自己折腾多进程通信什么的,引入一个简单的库,用 task queue,比什么都香。
    0bit
    0bit
    Dec 25, 2020❤️1
    11
    推进 -> 推荐
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1090 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 18:13 · PVG 02:13 · LAX 10:13 · JFK 13:13
    ♥ Do have faith in what you're doing.