groq 上 oss20b 近 6000token 每秒的输出速度
已经是量变引起质变了
快了将近 100 倍
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 459 days ago, the information mentioned may be changed or developed.
 |
iwdmbAug 6, 2025
1
|
|
iwdmbAug 6, 2025
2
https://gpt-oss.com/
官方测试渠道 |
 |
YsHaNgAug 6, 2025
3
可能要 hopper 以上更新架构的加速器 垃圾佬平台不如 qwen3:30b 上下文预分配内存以及 offload 效率很低
|
 |
jianyangAug 7, 2025
5
gpt-oss 120b 推理加结果，token 吐字快到离谱
|
 |
6
groq 我还看到有超过一万 token 每秒的
|
|
7
120b 的版本在英伟达官方的数据里甚至能跑到 2 万 token 每秒每卡
|
Select Language