jugelizi
V2EX  ›  Java

几万条数据批量写入消息队列哪种支持好

  •  
  •   jugelizi · Apr 19, 2020 · 6614 views
    This topic created in 2394 days ago, the information mentioned may be changed or developed.

    一次性发送短信 写到消息队列一条条发送 那么写入时一条条写进去 用哪种消息队列合适啊

    22 replies  •  2020-04-20 19:16:15 +08:00
    areless
    areless
    Apr 19, 2020 via Android
    1
    我用 redis 或者共享内存加外部脚本,在 nginx 形成一个漏桶模型写入负载~~~因为我不相信会持续几万条。分摊到时间也就几分钟
    kuafou
    kuafou
    Apr 19, 2020
    2
    丢 kafka 里没有任何压力
    rockyou12
    rockyou12
    Apr 19, 2020❤️1
    3
    才几万条……扔 kafka 它感觉都没有
    hncqp
    hncqp
    Apr 19, 2020 via iPhone
    4
    kafka
    misaka19000
    misaka19000
    Apr 19, 2020
    5
    redis or kafka
    Mmiracle110
    Mmiracle110
    Apr 19, 2020
    6
    kafka rocketmq 都行吧
    watzds
    watzds
    Apr 19, 2020 via Android
    7
    这么点哪种会有压力啊
    niubee1
    niubee1
    Apr 19, 2020
    8
    这个 tinny 级别的数据量, 随便啥都能行
    billlee
    billlee
    Apr 19, 2020
    9
    几万条批量写入用 mysql 存都没有压力(当然不推荐这样搞)
    cominghome
    cominghome
    Apr 19, 2020
    10
    楼主这个问题其实可以引申为“不要过早优化”。因为大部分被关注的框架、中间件性能方面都不会有很严重的问题,你只需要考虑易用和后续支持就可以了。几万条的数据给 rocketmq 这种 warm up 可能都做不到(当然,我不知道 rocketmq 有没有 warm up 这个过程)
    wangyzj
    wangyzj
    Apr 19, 2020
    11
    任何都行
    L1shen
    L1shen
    Apr 19, 2020
    12
    rabbitmq
    binbinyouliiii
    binbinyouliiii
    Apr 19, 2020 via Android❤️3
    13
    kafka:"开始了吗?" 程序:"已经结束了"
    hspeed18
    hspeed18
    Apr 19, 2020
    14
    搞笑,几万条有个鸡儿的压力
    xcstream
    xcstream
    Apr 19, 2020
    15
    放在数组里 循环吧(滑稽)
    Lonely
    Lonely
    Apr 19, 2020 via iPhone
    16
    市面上常用的随便一款都行吧
    zxlzy
    zxlzy
    Apr 19, 2020 via Android
    17
    才几万条数据,你随便哪个都行啊。
    RedBeanIce
    RedBeanIce
    Apr 19, 2020
    18
    @binbinyouliiii 原谅我笑了
    Aresxue
    Aresxue
    Apr 19, 2020
    19
    才几万条。。。别引入中间件了,直接用个线程池得了
    feelinglucky
    feelinglucky
    Apr 20, 2020
    20
    数据库不大,我估计楼主是对可靠性的诉求更多一点吧?
    raysonlu
    raysonlu
    Apr 20, 2020
    21
    你是担心大量写进去导致崩溃还是什么?分享一个案例,几万条数据写入 redis 队列,写入请求一下子就完成没问题,但即时查询队列时,部分数据依然查不到,等个一两分钟就好了,疑似 redis 接收了请求和再一一写入。
    jugelizi
    jugelizi
    OP
    Apr 20, 2020 via iPhone
    22
    @raysonlu 我就是想 redis 有个管道可以批量写入 其他的队列没找到
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1528 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 61ms · UTC 06:33 · PVG 14:33 · LAX 22:33 · JFK 01:33
    ♥ Do have faith in what you're doing.