• 请不要在回答技术问题时复制粘贴 AI 生成的内容
AncientLibrary
V2EX  ›  程序员

Telegram twitter 微博这类应用是如何面对无线增长的数据的啊?

  •  
  •   AncientLibrary · Nov 27, 2022 · 2915 views
    This topic created in 1436 days ago, the information mentioned may be changed or developed.

    最近我加了不少 telegram 上面的图群(你懂得),发现是可以无限往回翻的,一直翻到群建立第一天的消息。甚至 twitter (推特需要高级搜索)和微博也是可以回溯到一个人最初发的消息的。

    如果只是文本还好说,这类应用的用户很多都是发的图片和视频。这些企业是怎么面对这样增长的用户数据的啊?感觉过个若干年光是旧数据的保有成本就会扩张到一个无法接受的地步

    工业上是如何解决这个问题的?

    5 replies  •  2022-11-28 17:49:21 +08:00
    rb6221
    rb6221
    Nov 27, 2022
    1
    加机器呗,这又不是什么高端技术,难道国内没有吗?微博了解一下
    me221
    me221
    Nov 27, 2022
    2
    加机器. 硬盘不值钱
    wolong
    wolong
    Nov 27, 2022
    3
    求分享图群
    star7th
    star7th
    Nov 27, 2022
    4
    就是大硬盘集群扛着。无它。
    成本肯定有,但是没有你想象的高。现在的硬盘还是比较便宜的。更大的支出在于流量。存数据没太多成本,读数据,流转数据,流量贵。
    因为流量比存储更贵,所以我折腾出了另一种降低流量成本的法子。https://www.v2ex.com/t/877718?p=2
    victorc
    victorc
    Nov 28, 2022
    5
    某个著名 im 的存储架构正好是我设计的,也是永久保留消息,方案就是 分级存储

    1. im 消息的时效性特别强,95%的消息请求都是一周之内; 一周之内的消息用最贵的 nvme 磁盘,更早的可以使用机械盘
    2. 产品层面可以对消息存储时间设计一个计费点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1311 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 22:24 · PVG 06:24 · LAX 14:24 · JFK 17:24
    ♥ Do have faith in what you're doing.