V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  rizon  ›  全部回复第 1 页 / 共 59 页
回复总数  1161
1  2  3  4  5  6  7  8  9  10 ... 59  
❮ ❯
@sommio 请问知道 ds 今天什么时候正式上线吗,交流群也进不去了,网上没任何消息,我打算今天切 ds 试试里
@zedpass 3.7plus 带 tools 的请求会出现输出截断,finish_reason 重复出现两条的异常问题。反馈售后了,还没结论。 以前没事,这两天突然这样了。
@lovelive1024 嗯嗯,谢谢,看到了。明天试试。不知道它的视觉版内部怎么实现的,结构化输出支持的不太完善,倒不是太大问题。
@sommio 谢谢推荐 ds ,没想到都出了 vision 版了。明天做一下线上 case 回归看看。

视觉版本的结构化输出支持上不完善。不过倒不是很大的问题。
https://i.imgur.com/or1N3KI.png
@sommio 我看看 4.1 这个。 确实微调最好。但是 GPU 成本感觉有些高,一个 27b 以上模型满足并发和 ttft 需求的话 gpu 成本也不低
@suxiaozi
@tianjiyao
看到大家都是这个共识我就放心了,我一直以为是自己工程上做的还是不够好。不然怎么一直没看到人说国产不好,我一度怀疑是自己的问题
@wy315700 可以给推荐一下。ttft 足够低,最好是支持视觉理解的。
@ReinXD
@lovelive1024
ds 是纯文本模型,不是多模态的。这就导致图像类的请求我得路由到其他模型或者图片转文字(损失细节)。所以只能说没什么更好的选择的话只能考虑 ds 了。
@dryadent
@crackself 哎,没得选啊,实时对话产品延迟敏感, 还有成本问题。如果有好的低延迟、低成本的 gpt 模型选择就好了。
@maocat 哈,是有这个问题,所以按说还得加自定义代理功能。另外我后面打算支持在服务器终端上跑,这样延迟测试也更准一些
@maocat 是这样的,国内想找一个真的能用的模型其实选择范围非常小。看着百花齐放,但是线上产品想要换个模型的时候真能换的基本没有。

而且因为参数兼容和模型内部的一些各自特性换模型时还很容易出事故。

为此我专门做了一模型 api 兼容性测试网站: https://llmapicheck.dev/
@justxwy 常规使用没问题,但是在一些细节上 bug 挺多。也不知道为什么,是上线前测试 case 没覆盖吗。感觉 AI 时代各种大厂产品的可靠性都在下降。

比如已经和 售后确认过的 qwen3.8max 的 maas endpoint 确实有某些情况下输出缺失 role 字段的 bug 。
好吧,这会排查到原因了 。
thinking:{type:disabled} 关闭思维链会导致思维链进入正文。
这个项目有的人用下来真的很爽。
不推广这个项目的时候我都不知道公司里的很多人为自己和自己的团队做了好几个网站,这些网站都被 AI 自己临时托管在各种地方散落着。并且存在着数据泄露、数据丢失的各种风险。
集中起来后也方便了 AI 的项目审查。而这种集中管理又没有给管理员带来太多的精力消耗。

大厂里是另一套模式,因为没有这么一个角色可以有权利掌管所有人的数据与工作,所以采用的是无中心的分享托管模式。
但是小企业里就很方便了,集中式管理,比如强制给团队安装一些规范 skill ,避免他们操作 AI 出现的一些不可控的行为。
大家都没这些需求吗,都在用什么方案解决呢
火山的模型也非常难用,ttft 很高。还很容易脱靶,工具调用和假性思维链经常容易逃逸到正文。

在一个实时语音对话产品里,这两家模型测试下来都有各种问题。

不知道大家有什么好的国产模型推荐
@andie

github 的 README 里已经增加网站截图和 cli 录屏

https://github.com/othorizon/easy-agent-team
@andie 嗯嗯,谢谢,这就开始补截图
@JasonYip 其实区别蛮大的,哈哈,除了都有个团队 skill 管理概念外,没什么相同的地方了。
@JasonYip eat 增加了 dokploy 的支持,团队里成员可以快速自己部署一个网站。
eat 的哲学还是集中式管理,权利向管理员收敛。
eat 有一个求助功能,方便团队成员的 Agent 之间互相通信交换信息。
1  2  3  4  5  6  7  8  9  10 ... 59  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1386 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 17:10 · PVG 01:10 · LAX 10:10 · JFK 13:10
♥ Do have faith in what you're doing.