• 请不要在回答技术问题时复制粘贴 AI 生成的内容
maomaosang
V2EX  ›  程序员

DeepSeek 的 TTFT 速度极快

  •  
  •   maomaosang · 6h 5m ago · 844 views

    豆包从 1.5pro 升级到 seed2lite 之后,ttft 的 p99 基本翻了倍,从 3 秒升到 6 秒,我们业务对 ttft 极为敏感,监控都起飞了,用户投诉也来了,没辙了只能给用户降智换成 mini 模型。

    正好今天有业务需要测一下其他模型,猛的发现 DeepSeek 在这方面表现卓绝,flash/pro 的 ttft avg 都可以做到 0.3 秒以内,比各厂的 flash 都要快。

    强烈推荐对 ttft 敏感的业务使用!

    1 replies    2026-07-29 12:47:24 +08:00
    XenoGear
        1
    XenoGear  
       4h 56m ago
    dpsk 的 prefix cache 确实和其他家比有代差级别的优势,甚至缓存命中时的价格都低很多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5017 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:43 · PVG 17:43 · LAX 02:43 · JFK 05:43
    ♥ Do have faith in what you're doing.