因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的
因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的
|
zhenjiachenJul 14, 2025
1
直接把所有的 flink 依赖打包到 jar 里面,然后 java -jar 运行?
|
|
bronyakakaJul 14, 2025
2
感觉基本都是与 kafka 配套的
|
|
bronyakakaJul 14, 2025
3
Redis Streams 比较轻量
|
|
chenquanJul 14, 2025
4
|
|
chenquanJul 14, 2025
5
毕竟轻量 -> 比较轻量
|
|
user1284Jul 14, 2025
6
用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序,ClickHouse 是非常合适的,并且部署也比 Flink 轻。
|
|
lianhuayu420Jul 14, 2025
7
rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ , 还有很多基于类 sql 的 ,https://siddhi.io/
|
|
lianhuayu420Jul 14, 2025
8
刚找了下 还有这个 https://www.fluvio.io/
|
|
9
@yb2313 我的场景确实是需要窗口内聚合,但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ,结束也是这个测点发出 0 ,而实际指标是另外的测点来计算。这样就要求能动态获取,且能实时实现的
|
|
padhhcbdJul 14, 2025
10
Apache NiFi
|
|
Rat3Jul 14, 2025
11
数据量要说下
|
|
icchuxJul 14, 2025
12
看你们的复杂计算多复杂了,如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出,但要涉及到状态计算,窗口很大的,一般都是上 flink
|
|
cosenJul 14, 2025
13
可以考虑买云服务,不用自己维护集群
|
|
14
日两千万这样
|
|
vvtfJul 15, 2025
17
我们日~1 亿的数据,
67 种规则,状态大小 500m, 1 个 taskmanager, 2c4g,稳定运行. |
|
yuluoxinshengJul 15, 2025
18
物联网可以考虑边缘计算。看看我这篇.
https://juejin.cn/post/7508998028742737958 |
|
runningmanJul 16, 2025
19
flink 很重吗,还没研究很深
|