• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sirz
V2EX  ›  程序员

Python celery 替代

  •  
  •   sirz · Aug 26, 2024 · 4418 views
    This topic created in 799 days ago, the information mentioned may be changed or developed.
    py 没怎么搞过,现在有个很简单的需求,py 作为消费者消费 rabbitmq 队列,后台执行一些耗时处理。生产者是 Go 。
    试了下 celery 资源吃的挺多,有没有什么简单的组件实现这个功能?
    17 replies  •  2024-08-27 07:47:29 +08:00
    qW7bo2FbzbC0
    qW7bo2FbzbC0
    Aug 26, 2024
    3
    当时选择了自己实现,这种框架对项目原来代码结构侵入比较严重
    zhengxiaowai
    zhengxiaowai
    Aug 26, 2024
    4
    celery 虽然也不太行,但是相比其他的还是问题算少的
    encro
    encro
    Aug 26, 2024
    5
    这种问题,

    是 celery 问题吗?

    celery 能吃多少资源?

    肯定是应用才是大头啊。
    bitmin
    bitmin
    Aug 26, 2024
    6
    如果只是消费 rabbitmq 队列, 装个类似 aio_pika 这样的依赖,直接订阅消费就可以了吧,后台消耗 cpu 的就丢进程池里处理,如果是消耗 io 的直接协程处理
    djangovcps
    djangovcps
    Aug 26, 2024
    7
    想简单点的话 while True: try except: 失败重试 消费呗
    iorilu
    iorilu
    Aug 26, 2024
    8
    RQ(redis queue)
    轻量一些把, celery 是比较重得
    Ritter
    Ritter
    Aug 26, 2024
    9
    rq
    tikazyq
    tikazyq
    Aug 26, 2024
    11
    这种简单需求用不着框架,自己实现就可以了
    fred649
    fred649
    Aug 26, 2024❤️1
    12
    试试 Django Q2
    fred649
    fred649
    Aug 26, 2024
    13
    不好意思,没看到不是 Django 项目
    pioflight
    pioflight
    Aug 26, 2024
    15
    supervisor 拉一个常驻,然后检测队列,做轮训吧,之前的项目稳定跑几年这块逻辑都不用维护,美滋滋
    MADBOB
    MADBOB
    Aug 26, 2024
    16
    https://github.com/rq/rq rq 简单好用,比 celery 轻量好多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5396 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 02:26 · PVG 10:26 · LAX 18:26 · JFK 21:26
    ♥ Do have faith in what you're doing.