@sillydaddy

1. 当然有... 底层来说，硬件方面就引入的很多不确定性，CUDA 也有一些原语不是确定性的（ https://news.ycombinator.com/item?id=37009167 有一些讨论，像是 pytorch 这些依赖 cuda 的也会因此受影响： https://github.com/pytorch/pytorch/issues/75240 ），这些不确定性在大规模推理（多 GPU 、多节点）的情况下会愈加明显。推理框架本身也会因为调度，batch inference 下的 padding 加入很多不确定性，这里也有很多讨论： https://news.ycombinator.com/item?id=44527256

2. 模型到 lm_head 这里还是纯函数，而 temp=0 等价贪婪采样，按你的说法，对相同的信息给出的 logits 不会变，最后贪婪采样也是完全确定的，整个过程没有任何随机性参与。但是实际上实践上就是因为上面各种原因做不到

@neteroster #4 开源推理框架的一些信息：

> vLLM does not guarantee the reproducibility of the results by default, for the sake of performance. You need to do the following to achieve reproducible results:

> For V1: Turn off multiprocessing to make the scheduling deterministic by setting VLLM_ENABLE_V1_MULTIPROCESSING=0.

> 相同的消息必须有相同的回复，违反了这点就意味着模型有所变化。

错误的。LLM 生成最后有采样步骤会引入随机性。即使贪婪采样，现代 LLM 推理框架在性能上的一些优化措施也会导致几乎丧失稳定的 reproducibility 。

OpenAI 是这么说的：... If specified, our system will make a *best effort* to sample deterministically, such that repeated requests with the same seed and parameters should return the same result. Determinism is *not guaranteed*

Anthroic 是这么说的：...Note that even with temperature of 0.0, the results will not be fully deterministic.

题目是啥，什么模型什么渠道调用的

@threeBoy 错误的，Gemini 个人号有免费 1000 次额度每天，这个是和 GCP 那边完全独立的。

---

这个错误有多种可能的原因，可能不是 workspace 的关系，具体请参阅：

https://github.com/google-gemini/gemini-cli/blob/main/docs/cli/authentication.md

官方速率限制：
https://ai.google.dev/gemini-api/docs/rate-limits

tier 1 flash 也有 1000 请求/分钟，应该不那么容易撞吧

话说你是在用沉浸式翻译吗

分情况讨论。不讨论偷换模型的情况。

Claude Code 转发这种：你买 Claude 官方的套餐越高（ 20 刀 / 100 刀 / 200 刀），能用的额度是超线性增长的，例如说统一换算到 API 费用，可能 20 刀套餐能用大概等额 100 刀的 API ，但是 200 刀的套餐能用等额 3000 刀的 API 。显然就单位 token 价格来说 200 刀最划算，然而大部人用不到那么多，中转通过堆 Max 号池然后再分发，可以实现中间获利同时提供比官方更便宜的低价套餐（虽然这可能是违反使用条例的）

至于其他 API 中转，低价大多数是有一些低价渠道，例如 abuse 刷 GCP 300 刀赠金就能拿出价格低的离谱的 Gemini API 。这种低价渠道都是比较灰色的

小模型英语会好点，模型大了或者是推理模型的话，中英不会有什么显著差异，具体可以看看前段时间一个叫 mmlu pro x 的文章有详细测不同语言的性能

Gemini 2.5 pro 就可以啊，就是有时候废话有点多。情绪价值和能力没有问题。

chatgpt 4o 确实算是对齐的典范了，lmarena 至今还是前三，然而不是思考模型，解决复杂问题的能力一般。

随便搞个豆包 seed 1.6 用就完了，他这个是阶梯定价，输入短便宜的不行，翻译只要是 llm 而且不太小的模型都差不到哪去

@1145148964 没有，4.5 只是研究预览，下架是因为成本太高，而且效果没有预期的好。

用 API 或者多来几个号呗，不过 4.5 的使命也快结束了，API 上的 4.5 本月 14 日就会下架，ChatGPT 上估计也快了，要用尽快吧

1. 你的指代太宽泛以至于无法给出切题的答案。请注意 ChatGPT 是产品不是模型。模型的能力是一个复杂的事情，各自有各自擅长的地方，例如 ChatGPT o3 擅长多轮搜索，Claude 擅长编码 agent ，Gemini 擅长长文本召回和多模态等等。

2. 目前总体来说御三家（ OpenAI, Anthropic, Google ）还是比国内的模型领先一大截的。不过还是那个问题，在会用且了解模型能力的情况下差距才能体现。

3. 虽然御三家基本上都对自己的模型架构守口如瓶，但是几乎可以肯定的是他们都基于一种非常基础且重要的组件 Transformer （由 Google 在 2017 年的论文 Attention is All You Need 提出）。在此基础上模型的其他组成会有一些差别，例如是 dense 模型或是 MoE 模型（目前推测御三家基本都在用 MoE, 其中 Gemini 在技术报告中直接说了，Deepseek V3 / R1 也是 MoE ），其他地方也会有些许差别。还有就是训练，除了训练数据量还有数据筛选清洗合成管线等等，以及各种训练参数，后训练（包括重强化学习用于训练推理模型）方案等等，这些也多属于独家秘方，就算是 Deepseek 这种开放团队在这方面公开的信息也是少之又少，更不用说商业模型了。

@neteroster #3 以上是各家隐私协议的说法，不代表实际情况

Gemini API:
免费服务（非欧盟）：可能用于改进模型
付费服务，或欧盟的免费服务：不用于改进模型，但请求仍然会暂存一段时间

OpenAI API:
默认情况下不用于改进模型，但用户可以选择分享数据用于改进模型，通过分享可以获得免费配额

Claude API：类似 OpenAI 默认不用于改进模型

---

Gemini APP / ChatGPT 个人：默认可用于改进模型，但可以关闭

Claude.ai / ChatGPT Team & Enterprise：默认不用于改进模型

new-api ，要是你觉得太重了也可以考虑下面这个
https://github.com/yym68686/uni-api

@Lentin 这家是纯用户反馈的，没有探针，cf 也出通告了

https://i.imgur.com/5GtY6cn.png

@neteroster #1 严格来说不能说爆炸，“故障率上升”比较合适。原因目前不明确