yjhatfdu2's recent timeline updates
yjhatfdu2

yjhatfdu2

V2EX member #457268, joined on 2019-12-04 10:30:20 +08:00
Today's activity rank 1037
yjhatfdu2's recent replies
@EchoDeveloper 取所有的选项的概率做个 softmax 或者简单的按比例算个权重就可以了
@wsseo 有很多懂的,但更多的不懂在尬吹,和之前吹龙虾的差不多同一批人
其实主要还是大部分人用 llm 只会输出一长串 json 不会使用原始 logprobs 而已
@heganj 实际测试不做这些直接用 LLM 已经可以达到足够理想的结果,你还可以很容易的微调小模型适合自己的场景
8 days ago
Replied to a topic by andie 程序员 我就喜欢听人夸 PostgreSQL
@woodfizky 是 gauss 垃圾,华为的软件能用?你用正版 pg+那几个新的全文索引/向量索引试试
19 days ago
Replied to a topic by gtanyin OpenAI 可稳定的 ChatGPT 的梯子求助~
买的最便宜的梯子,挂了两个 pro 号,半年了一直稳定
21 days ago
Replied to a topic by Need4more Local LLM mac 本地部署 llm 不是最佳选择
当然我遇到一个有趣的点,我本地部署一些模型测试(因为客户有私有化需要),和云 API 对比,会发现云 API 有不会通知你的降智现象,表现为有些 agent 场景本地基本上稳定能完成,云端需要看时段,高峰时段可能就完不成
M5 才有 tensor core 支持 AI 算力,M4 没有哦
@sentinelK 我现在用的是最新的 vllm ,改了一下 jinja ,基本上没有遇到这些问题,但是有个偶现的 GPU 报 Xid 31 导致奔溃的问题,可是 flashinfer 的 B12x 内核在长上下文、高并发、MTP 下的 bug ,就先凑合着用吧,codex 跑几个小时可能会遇到一次
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   952 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 22:16 · PVG 06:16 · LAX 15:16 · JFK 18:16
♥ Do have faith in what you're doing.