• 请不要在回答技术问题时复制粘贴 AI 生成的内容
brant2ai
V2EX  ›  程序员

[实时数据] 现在实时数据处理,除了 Flink 以外,其他有什么比较好用的计算引擎或者架构

  •  1
     
  •   brant2ai · Jul 14, 2025 · 3646 views
    This topic created in 479 days ago, the information mentioned may be changed or developed.

    因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的

    19 replies  •  2025-07-16 10:20:02 +08:00
    zhenjiachen
    zhenjiachen
    Jul 14, 2025
    1
    直接把所有的 flink 依赖打包到 jar 里面,然后 java -jar 运行?
    bronyakaka
    bronyakaka
    Jul 14, 2025
    2
    感觉基本都是与 kafka 配套的
    bronyakaka
    bronyakaka
    Jul 14, 2025
    3
    Redis Streams 比较轻量
    chenquan
    chenquan
    Jul 14, 2025
    4
    我自己在写: https://github.com/arkflow-rs/arkflow ,毕竟轻量

    国外厂商开源的: https://www.arroyo.dev/
    chenquan
    chenquan
    Jul 14, 2025
    5
    毕竟轻量 -> 比较轻量
    user1284
    user1284
    Jul 14, 2025
    6
    用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序,ClickHouse 是非常合适的,并且部署也比 Flink 轻。
    lianhuayu420
    lianhuayu420
    Jul 14, 2025
    7
    rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ , 还有很多基于类 sql 的 ,https://siddhi.io/
    lianhuayu420
    lianhuayu420
    Jul 14, 2025
    8
    刚找了下 还有这个 https://www.fluvio.io/
    brant2ai
    brant2ai
    OP
    Jul 14, 2025
    9
    @yb2313 我的场景确实是需要窗口内聚合,但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ,结束也是这个测点发出 0 ,而实际指标是另外的测点来计算。这样就要求能动态获取,且能实时实现的
    padhhcbd
    padhhcbd
    Jul 14, 2025
    10
    Apache NiFi
    Rat3
    Rat3
    Jul 14, 2025
    11
    数据量要说下
    icchux
    icchux
    Jul 14, 2025
    12
    看你们的复杂计算多复杂了,如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出,但要涉及到状态计算,窗口很大的,一般都是上 flink
    cosen
    cosen
    Jul 14, 2025
    13
    可以考虑买云服务,不用自己维护集群
    brant2ai
    brant2ai
    OP
    Jul 15, 2025
    14
    日两千万这样
    brant2ai
    brant2ai
    OP
    Jul 15, 2025
    15
    @icchux 我现在的这套已经用了 doris 了。简单来说,不是单表或者维表可以出的计算
    brant2ai
    brant2ai
    OP
    Jul 15, 2025
    16
    @cosen 我们还是要以产品的形式去完成的,场景都是有服务器的,只是能提供给数据这边的服务器不多
    vvtf
    vvtf
    Jul 15, 2025
    17
    我们日~1 亿的数据,
    67 种规则,状态大小 500m,
    1 个 taskmanager, 2c4g,稳定运行.
    yuluoxinsheng
    yuluoxinsheng
    Jul 15, 2025
    18
    物联网可以考虑边缘计算。看看我这篇.
    https://juejin.cn/post/7508998028742737958
    runningman
    runningman
    Jul 16, 2025
    19
    flink 很重吗,还没研究很深
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2593 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 14:13 · PVG 22:13 · LAX 06:13 · JFK 09:13
    ♥ Do have faith in what you're doing.