大佬们，请问目前有 1000 个硬件设备，总共每小时产生 100W 行历史数据到 web 服务器，应该如何保存？ 目前项目用的 redis 作为缓存和队列+mysql 数据库 后期主要用来作为历史记录查询，不会涉及修改、删除数据 大家有什么好的处理办法吗？ 本菜鸡拜谢- -
This topic created in 2818 days ago, the information mentioned may be changed or developed.
 |
liyerFeb 26, 2019
1
elasticsearch
|
 |
jadec0derFeb 26, 2019
2
关键词：Time series database
|
 |
996635Feb 26, 2019
3
分表就完了 1 小时 一百万 没多少数据
|
 |
lastpassFeb 26, 2019 via Android
5
上 elasticsearch，如果只是缓存上 kafka。
|
 |
maemualFeb 26, 2019
6
一小时一百万，那么存储压力其实没有多大，怎么搞都可以。
问题在于你到底有什么样的查询需求，这个比较影响数据怎么存储组织。 |
 |
qq316107934Feb 26, 2019
9
@youngce #8 hbase + hive + grafana，完美解决你的需求
|
 |
hilbertzFeb 26, 2019
10
时序数据库就是帮你自动分表而已，再引入一套东西，没啥太大意义
|
 |
runningmanFeb 26, 2019
11
@qq316107934 我空了试试
|
 |
scalaerFeb 26, 2019 via Android
12
kafka+druid
|
 |
13
“主要用来作为历史记录查询，不会涉及修改、删除数据 ” ，典型的时序数据
可以上时序数据库加可视化组件，例如 opentsdb+grafana 如果不搞集群，可以用 TICK 一件套(influxDB 单机开源)，省心省事。 6 楼说到点上了，感觉时序数据库对存储的优化还是很好的，查询需求比较影响用什么数据库 |
1 |
mywaitingFeb 26, 2019
14
这个时候为什么不上战斗民族出品的 ClickHouse，只要你带宽足够，机器足够，目测一分钟 100W 都没有问题
|
 |
ThisDayFeb 27, 2019
15
influx db
|
 |
colozFeb 27, 2019
16
我也做物联网，同样的需求，考虑用时序数据库，但做后台的同事说 mongoDB 也满足需求
|
 |
Raymon111111Feb 27, 2019
17
mysql 分库分表直接搞定
|
 |
xuanchiFeb 27, 2019
18
每小时 100W，一天 2400W，每月 7.2 亿条，这个放在 mysql 上妥妥不合适，数据量太大，当然分库分表数据量的问题可以解决，但是由于每月修改和删除，使用 mysql 这种关系型数据库没什么好处。
每小时 100W，每分钟是 1.67W ，每秒钟 278 条，这个量级没什么压力，只要是个数据库，机器配置过得去都能抗住。 从理论角度分析，时序数据库是首选，然后根据需求也可以把数据库同步到 mysql。hbase 查询有些问题，不建议用 habase，但是在实际中，搞个时序数据库不方便，总的来说 MongoDB 到时候挺合适的 |
 |
dorothyRENFeb 27, 2019
19
随便上个商业数据库就解决了
|
 |
fengxuejianshiFeb 27, 2019
20
航发？
|
Select Language