豆包从 1.5pro 升级到 seed2lite 之后,ttft 的 p99 基本翻了倍,从 3 秒升到 6 秒,我们业务对 ttft 极为敏感,监控都起飞了,用户投诉也来了,没辙了只能给用户降智换成 mini 模型。
正好今天有业务需要测一下其他模型,猛的发现 DeepSeek 在这方面表现卓绝,flash/pro 的 ttft avg 都可以做到 0.3 秒以内,比各厂的 flash 都要快。
强烈推荐对 ttft 敏感的业务使用!
豆包从 1.5pro 升级到 seed2lite 之后,ttft 的 p99 基本翻了倍,从 3 秒升到 6 秒,我们业务对 ttft 极为敏感,监控都起飞了,用户投诉也来了,没辙了只能给用户降智换成 mini 模型。
正好今天有业务需要测一下其他模型,猛的发现 DeepSeek 在这方面表现卓绝,flash/pro 的 ttft avg 都可以做到 0.3 秒以内,比各厂的 flash 都要快。
强烈推荐对 ttft 敏感的业务使用!
1
XenoGear 4h 56m ago
dpsk 的 prefix cache 确实和其他家比有代差级别的优势,甚至缓存命中时的价格都低很多
|