ReinXD's recent timeline updates
ReinXD

ReinXD

V2EX member #641437, joined on 2023-08-02 03:50:33 +08:00
Today's activity rank 6296
ReinXD's recent replies
@NizumaEiji 基本大厂内部编程代码 agent 都是 glm ,用户会用脚投票的
@Retas 这里有个关键问题是如果模型 sft 的训练数据没有针对性优化,这样的操作是会下降模型性能的
dpsk 应该是把 system prompt 直接放到每次请求的开头了,这样每次增长的计算实际上只有用户新发的请求,剩下全部可以 prefix cache hit ,导致最后命中率 99%,其实没那么多魔法,不过 dpsk 应该这次在训练 sft 的阶段就对这种 prompt 方式进行优化了
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1004 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 18:54 · PVG 02:54 · LAX 11:54 · JFK 14:54
♥ Do have faith in what you're doing.