因为业务逻辑问题,数据随时可能发生变动,现在的需求是,在一定时间段内对原始数据进行统计,并查询出相关的数据明细(初期数据量百万级)。除了给变动数据加上时间来排除以外,还有什么好办法没有,想的头疼。
|
1
数据库用的 mysql
|
|
clancyliuNov 20, 2019
2
你百度一下 CDC,不知道这个可以解决你的需求不。
|
|
arelessNov 20, 2019 via Android
3
Binlog 可视化
|
|
akiraNov 20, 2019
4
记录下所有数据的变动情况
|
|
liuzhaowei55Nov 20, 2019 via iPhone
5
是数据更新还是还是有新的数据进来?数据更新的话不复制出来没有别的办法保存吧,是有新数据进来的话就加时间戳吧,不过按这数据量感觉 mysql 的时间戳也不太够用吧
|
|
6
@liuzhaowei55 数据更新,复制出来不太现实,有很多时间段统计,太占空间了
|
|
TomVistaNov 21, 2019
7
上 redis 维护统计数据,数据变动,修改 redis. 比如某个 sum newSum = oldSum+ newValue-oldValue.
|
|
8
还有什么更有效率和性价比的办法吗
|
|
9
继续寻找方案
|