1.每天的数据量很大，大概 5 亿多条，如果用 mysql 存储，再用来查询监控，肯定不行的。 那么用什么来存储呢？
2.数据监控报警，可以知道当前金币发放的数据量，如果超过 /少于 3 天前，7 天前的数据量 10%，就发出报警， 用什么开源的工具可以快速实现呢？
This topic created in 2295 days ago, the information mentioned may be changed or developed.
 |
defunct9Jul 23, 2020
1
prometheus
|
 |
YoolooJul 23, 2020
2
prometheus
|
 |
usebenJul 23, 2020
3
es
|
 |
momo1999Jul 23, 2020
4
拿个字段放累加值行不行，不要用 sum
|
 |
CoooooolFrogJul 23, 2020
5
美团点评开源监控系统 cat，谁用谁知道
|
 |
tianshiyebenJul 23, 2020
6
wgcloud
|
 |
superrichmanJul 23, 2020 via iPhone
7
elasticsearch
|
|
tianshiyebenJul 23, 2020
8
|
 |
shunconfJul 23, 2020
9
@CoooooolFrog 不留地址？
|
 |
laminux29Jul 23, 2020
10
监控金币发放的数据量，这应该是业务，你居然敢拿第三方监控系统来实现，我也是佩服....万一第三方监控系统挂了，或者有个缓冲延迟什么的...
|
 |
sujin190Jul 23, 2020
11
这种正常操作不应该先写入 Kafka，让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么，哪有直接监控原始数据的，就算每天太粗糙，那每小时肯定绰绰有余了，否则这么大量，存入 mysql，查询从磁盘读出来都不知道要多久了，毕竟磁盘读取速度摆在那的
|
 |
DukeAnnJul 23, 2020
12
flink
|
 |
joesonwJul 23, 2020
13
TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警
|
 |
freemoonJul 23, 2020
14
Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
-Clickhouse 用于在线流量分析，一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 |
|
freemoonJul 23, 2020
15
Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
- Clickhouse 用于在线流量分析，在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 - Clickhouse 能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果 - Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入、修改或删除数据。 - 数据批量写入，不需要经常更新、删除。数据写入完成后，相关业务不要求经常对数据更新或删除，主要用于查询分析数据的价值。 - Clickhouse 适合用于商业智能领域，广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据，如资源位的点击情况，以及并对各资源位进行 bi 预警。 京东使用的架构，Kafka --> flink 定时任务 --> Clickhouse 。 |
|
freemoonJul 23, 2020
16
|
|
17
觉得可以的话请点亮右上角。
|
1 |
BQsummerJul 23, 2020 via Android
18
关键词：时序数据库，推荐：Prometheus
|
 |
byzfJul 24, 2020
19
prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧.
|
|
freemoonJul 24, 2020
20
不会吧不会吧，楼主白嫖一波就溜了？
|
Select Language