V2EX › wwhc 的所有回复 › 第 1 页 / 共 29 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 29

❮

❯

6 月 19 日

回复了 frankyzf 创建的主题 › Local LLM › 有支持 6000 Ada 使用 deepseek v4 flash 推理的框架吗

等 llama.cpp 合并 Deepseek v4 的补丁到主线吧

6 月 6 日

回复了 plko345 创建的主题 › Windows › windows 终将成为最好的 Linux

微软的前途在于把 Windows 变成 Linux 的发行版之一

6 月 1 日

回复了 SilenceLL 创建的主题 › 硬件 › 站里没人看老黄的新电脑吗

如果不提供对 Linux 的良好支持这个体系在 AI 领域并不具备竞争性

6 月 1 日

回复了 zhengfan2016 创建的主题 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低

RX9070 对标 Nvidia Titan V 的 AI 推理性能

5 月 31 日

llama.cpp 的优化参数也很多，绝对性能目前可能仍不及 vllm 强，但可用性、易用性、可调性及部署能力都远强于 vllm

5 月 31 日

7900xtx 在 llama.cpp 下支持良好，推理时的预填充速度可能只比 4060ti 稍强，但 token 生成速度与 3090ti 相差不大

5 月 31 日

除非你是在为大公司或企业开发 AI 推理系统，建议使用 llama.cpp ，这是目前最好的 AI 推理框架

5 月 20 日

回复了 cwcc 创建的主题 › AI Agent 智能体 › 如果为了本地大模型，卖掉 MacBook Pro M3 Pro 36G，买Μ5 Max 128G，合适吗？

重度运行本地大模型的 Mac 要选用 M? Ultra ，即使是 M1 Ultra ，也强于任何世代的 Max 型号

4 月 27 日

回复了 junwind 创建的主题 › 程序员 › glm5.1， kimi2.6， minimax2.7， mimo v2.5， deepseek v4，编程能力上的排名如何？

@Jiajin
@junwind
不依赖别的工具，本地部署的 Qwen3.6 27B/35B 也能达到 GLM 的水准当使用“帮我生成一个天气查询 H5 应用”这个提示词

4 月 27 日

回复了 junwind 创建的主题 › 程序员 › glm5.1， kimi2.6， minimax2.7， mimo v2.5， deepseek v4，编程能力上的排名如何？

楼主的测试有偏差，本地部署的 Qwen3.6 27B/35B 使用楼主的提示词都能生成达到楼主图中 GLM 的水准的代码渲染，本地部署的 gpt-oss 120B 倒真是惨不忍睹，生成的的代码渲染出的页面没法看

4 月 4 日

回复了 unt 创建的主题 › Local LLM › Gemma 4 31B 大概什么水平，本地部署是不是又成为现实了

差一点就能赶上 Qwen3.5 了

4 月 4 日

回复了 unt 创建的主题 › Local LLM › 为什么 Qwen 吹这么牛，但是用起来体验这么拉啊，它的真实能力究竟怎么样

Qwen3.5 是适于本地部署的开源模型中最强的，Google 昨天新发布的开源 Gemma 4 模型也仅仅是追上 Qwen3.5 而已

3 月 28 日

回复了 beimenjun 创建的主题 › 分享发现 › 赛博斗蛐蛐 - 大模型写翻页时钟 - Opus-4.6/GPT-5.4/K2.5/MiMo-V2-Pro/GLM-5/Qwen3.5-Plus/某 2.7/某包

Token 自由的感觉蛮不错

3 月 28 日

回复了 beimenjun 创建的主题 › 分享发现 › 赛博斗蛐蛐 - 大模型写翻页时钟 - Opus-4.6/GPT-5.4/K2.5/MiMo-V2-Pro/GLM-5/Qwen3.5-Plus/某 2.7/某包

经验是用一到两块高性能大显存卡如 3090/4090/5090 ，再加上若干便宜的中低端卡(8-16GB 显存)，把所有层都放进显存（能容纳的上下文越多越好，256k 大概需要 60GB 显存以上），尽可能多的把专家权重放到显存，一般能实现 10-20t/s 或以上的速度，建议使用 llama.cpp 而不是 vllm ，以便于快速迭代及灵活的硬件搭配

3 月 28 日

回复了 beimenjun 创建的主题 › 分享发现 › 赛博斗蛐蛐 - 大模型写翻页时钟 - Opus-4.6/GPT-5.4/K2.5/MiMo-V2-Pro/GLM-5/Qwen3.5-Plus/某 2.7/某包

本地开源模型的表现：用楼主的复杂提示词，gpt-oss-120b 一次就成功完成了. Qwen3-Coder-Next-MXFP4 用了 5 次才成功,Qwen3.5-397B-A17B-MXFP4 3 次成功完成.成品质量最好的是 Qwen3.5-397B ，gpt-oss-120b 也算可以，但确实翻页有点慢

3 月 12 日

回复了 coderluan 创建的主题 › OpenClaw › 上门安装龙虾 499，卸载龙虾 299，如果我一趟全包了，什么都不干，我要收 800，对方只肯给 200，谁有理？

Qwen3.5 27B 很聪明，直接判定对方更“有理”，你是在耍流氓。

3 月 7 日

回复了 Livid 创建的主题 › OpenAI › GPT-5.4 Thinking 依然过不了洗车测试

不至于吧？ Qwen3.5 35B/27B 这样的小模型都能给出正确答案

2 月 14 日

回复了 Zhipuai 创建的主题 › 程序员 › GLM-5 开源：从代码到工程， Agentic Engineering 时代最好的开源模型

支持开源模型，希望能尽快开源 air 版本

1 2 3 4 5 6 7 8 9 10 ... 29

❮

❯