https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/
刷到 Google 昨天发的 Gemini Decision 1 和配套的 Decisions API 。它不生成文字,你给一组封闭选项,它直接给每个选项打分,返回概率。官方举的用途就是工具选择、模型路由、策略校验这些。
现在不少人做 agent 路由,还是让一个小模型吐 JSON 再解析,格式偶尔还会坏。这个接口直接给概率,解析这一步就省了。
官方写的价格是输入 $0.10/百万 token ,输出不要钱,端到端延迟大概 150 到 250ms 。路由这种每个请求都要过一遍的环节,这点成本基本可以忽略了。
我还没上手试,顺手整理了一份价格和限制,放在 https://lotook.com/articles/gemini-decision-1/ (英文)
有在用小模型做路由的吗,会考虑换成这个,还是怕被绑在 Google 家?
刷到 Google 昨天发的 Gemini Decision 1 和配套的 Decisions API 。它不生成文字,你给一组封闭选项,它直接给每个选项打分,返回概率。官方举的用途就是工具选择、模型路由、策略校验这些。
现在不少人做 agent 路由,还是让一个小模型吐 JSON 再解析,格式偶尔还会坏。这个接口直接给概率,解析这一步就省了。
官方写的价格是输入 $0.10/百万 token ,输出不要钱,端到端延迟大概 150 到 250ms 。路由这种每个请求都要过一遍的环节,这点成本基本可以忽略了。
我还没上手试,顺手整理了一份价格和限制,放在 https://lotook.com/articles/gemini-decision-1/ (英文)
有在用小模型做路由的吗,会考虑换成这个,还是怕被绑在 Google 家?