Curiosity777
V2EX  ›  Java

请教一个不断增长的数据统计问题

  •  
  •   Curiosity777 · Apr 8, 2024 · 3901 views
    This topic created in 938 days ago, the information mentioned may be changed or developed.

    环境

    • 服务器配置 2c32 线程,128g 内存
    • Java8

    统计的方式如下

    id 当前值 累计值
    10 7.66 928.09
    9 6.56 920.43
    8 4.79 913.87
    7 6.23 909.88

    当前累计= 当前值 + 前一次累计

    目前表里 11w 数据,每天新增 1000 条 数据维度是 8 个公司 72 个矿 800 个工作面

    目前我的思路

    1. 按照工作面维度,要 800 个 sql
    2. 矿维度 72 个 sql
    3. 公司维度 8 个 sql

    我打算按照 8 个公司并发查询 8 个线程 按照 72 个矿并发计算,每个矿分配 2 个线程 但是数据量上来了,会越来越慢

    目前不考虑缓存计算结果,因为业务不稳定,早期数据一直会变,只考虑实施计算的方式,大佬们有好方法吗

    3 replies  •  2024-04-10 19:51:56 +08:00
    MoYi123
    MoYi123
    Apr 8, 2024❤️1
    1
    矿是什么东西? 建议不要在问题里加上只有你知道的业务词汇.
    然后看了问题, 我也不知道你想要查什么, 怎么查.
    sujin190
    sujin190
    Apr 8, 2024 via Android
    2
    window 函数加 group by 不一下就查出来么
    wxf666
    wxf666
    Apr 10, 2024
    3
    你放一下表结构,和你当前怎么查数据的 SQL 呗。。

    11W 数据。。感觉 SQLite 单线程都能很快啊。。至于 8 线程么。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1573 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 23:08 · PVG 07:08 · LAX 15:08 · JFK 18:08
    ♥ Do have faith in what you're doing.