• 请不要在回答技术问题时复制粘贴 AI 生成的内容
windyboy
V2EX  ›  程序员

一个本地运行的 DeepSeek 加上 Cursor,是不是目前一个程序员的终极解决方案?

  •  
  •   windyboy · Jan 28, 2025 · 10403 views
    This topic created in 650 days ago, the information mentioned may be changed or developed.

    通过自己筛选过的文档强化一下本地模型,加上 Cursor 是不是就是目前最好的 AI 辅助方式?

    41 replies  •  2025-02-06 16:07:01 +08:00
    Chism
    Chism
    Jan 28, 2025 via iPhone
    1
    多大的模型?什么配置的电脑可以跑?
    windyboy
    windyboy
    OP
    Jan 28, 2025
    2
    @Chism 32b 的模型只要显存大于 20GB 就可以跑
    Chism
    Chism
    Jan 28, 2025 via iPhone
    3
    @windyboy #20
    这个水平也一般吧,跑本地有什么意义?
    bybyte
    bybyte
    Jan 28, 2025
    4
    官网 api 也是白菜价
    roygong
    roygong
    Jan 28, 2025 via iPhone
    5
    现在 DeepSeek API 在 cursor 部署的话好像没法解锁所有功能,还得开 cursor 的会员
    SenLief
    SenLief
    Jan 28, 2025
    6
    直接跑 api ,都已经用 deepseek 就没必要用 cursor ,直接 vs 插件或者 copilot
    hongjic93
    hongjic93
    Jan 29, 2025❤️1
    7
    你这本地能跑的都是拿 r1 蒸馏的 qwen 之类的小模型吧,本地怎么可能能跑 v3 和 r1 。
    duzhuo
    duzhuo
    Jan 29, 2025
    8
    @bybyte 是的 白菜价
    asuraa
    asuraa
    Jan 29, 2025
    9
    这么便宜的 api ,用不着自己跑吧,我这 10 块钱用了一个礼拜了,直接就 Roo Cline 插件就完事,
    esee
    esee
    Jan 29, 2025
    10
    本地跑的电费估计都比 api 贵了
    saobilin
    saobilin
    Jan 29, 2025
    11
    7900xtx 带 32b 轻松 带不动 70b 本地运行的成本其实还是有点高的
    amlee
    amlee
    Jan 29, 2025 via Android
    12
    api 白菜价了呀,本地跑不满血的 r1 ,图啥呢,隐私要求那么高?
    iorilu
    iorilu
    Jan 29, 2025
    13
    都白菜价了, 直接 api 得了, 除非企业内部, 可能有自己部署的需求
    R4rvZ6agNVWr56V0
    R4rvZ6agNVWr56V0
    Jan 29, 2025
    14
    32b 的模型依然渣渣 ,建议不要问,亲自租一台 GPU server 部署试一试。
    ShadowPower
    ShadowPower
    Jan 29, 2025
    15
    我试了 R1 蒸馏出来的 Qwen 32B 模型,看 benchmark 感觉不错,然而实际用起来和原版 R1 差很多
    windyboy
    windyboy
    OP
    Jan 29, 2025
    16
    deepseek 的意义实际上就是可以摆脱云端的服务,本地运行一个能力不错的模型,并且保有私有的数据
    javaluo
    javaluo
    Jan 29, 2025 via iPhone
    17
    @asura 话说 cline 支持 r1 模型吗?
    ypliang9
    ypliang9
    Jan 30, 2025 via Android
    18
    q4 量化且是蒸馏 r1 知识微调的 qwen 才是你手上用的模型。这和本体效果差忒多了。
    bingoAI
    bingoAI
    Jan 30, 2025
    19
    cline+deepseek v3 用了一个月,没有人提到在编程方面,大概十次基于文件夹方面的问答就会卡顿吗?
    RoccoShi
    RoccoShi
    Jan 30, 2025
    20
    本地的模型都是💩
    9LCRwvU14033RHJo
    9LCRwvU14033RHJo
    Jan 31, 2025
    21
    本地模型最终肯定会成功的。十年后可能 1T 显存也是白菜价。
    windyboy
    windyboy
    OP
    Jan 31, 2025
    22
    @user8341 能力强的模型,体积会越来越小
    sharpy
    sharpy
    Jan 31, 2025
    23
    希望再过半年,本地的 20~32b 模型能达现在 ds 的能力,那本地就足够了
    crackidz
    crackidz
    Jan 31, 2025
    24
    哪怕是 R1 Zero ,比 API 的质量都差... 不如直接跑 API

    只是有些狗逼天天 DDOS 服务器
    MoTao
    MoTao
    Jan 31, 2025
    25
    本地笔记本 4060 试了 8b ,一天后劝退,还是充点元子用 API 吧 :(((
    wsbqdyhm
    wsbqdyhm
    Jan 31, 2025
    26
    mac m1max 64g, 跑 32b 很轻松,跑 70b 速度我也能接受,强很多。就是叫写小 h 文不给力,审核很严格
    wsbqdyhm
    wsbqdyhm
    Jan 31, 2025
    27
    @wsbqdyhm 跑 70b 风扇狂转,内存飙到 59g ,电量刷刷下降。得插电来
    kjstart
    kjstart
    Feb 1, 2025
    28
    deepseek 怎么才能交上钱啊? 现在 https://platform.deepseek.com/都打不开...
    fbqk2008
    fbqk2008
    Feb 1, 2025
    29
    我想给全硬盘做一个这种功能,有可能吗?
    findex
    findex
    Feb 1, 2025 via iPhone
    30
    @windyboy #2 测试了本地 32B 模型,能运行。感觉速度不是很快,还是 API 好点。也许因为我用单卡测试的。
    windyboy
    windyboy
    OP
    Feb 1, 2025❤️1
    31
    如果生成式的 AI 都掌握在巨头手里,运行在一般用户买不起的硬件上,这个世界不知道会堕落成什么样。
    R1 无疑给了大家一只强心针,告诉我们大可不必,一场开源的胜利
    相信以后会有本地可以运行切能力越来越强的模型出现
    Tink
    Tink
    Feb 1, 2025
    32
    开发环境无法连接互联网吗
    whileFalse
    whileFalse
    Feb 1, 2025
    33
    @sharpy 到时候你又看着新模型眼馋了。gpt3.5 刚出的时候多风光,现在还不是牛夫人
    whileFalse
    whileFalse
    Feb 1, 2025
    34
    @windyboy 大哥 R1 的硬件你也买不起啊人家原始模型 600 多 B
    kennylam777
    kennylam777
    Feb 2, 2025 via Android
    36
    @windyboy 可以是可以,但 4tps 只有實驗用途,驗證也做不到,更不能作為生產力
    whileFalse
    whileFalse
    Feb 3, 2025
    37
    @windyboy 如果是你链接里这种用 CPU 跑也叫能跑,那其实根本用不了 2000 刀,搞个洋垃圾插上 512G 内存都能跑,搞不好 2000 快都用不了
    windyboy
    windyboy
    OP
    Feb 3, 2025
    38
    @whileFalse 512G 垃圾内存多少钱
    whileFalse
    whileFalse
    Feb 4, 2025
    39
    @windyboy ECC 的二手内存很便宜的,咸鱼上看看
    windyboy
    windyboy
    OP
    Feb 4, 2025
    40
    @whileFalse 你是说闲鱼上 52G ECC 内存,价格小于 200 ?
    whileFalse
    whileFalse
    Feb 6, 2025 via Android
    41
    @windyboy 刚看了一下,32g 的 ecc 内存 58,16 条还不到 1000
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2300 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 67ms · UTC 12:47 · PVG 20:47 · LAX 04:47 · JFK 07:47
    ♥ Do have faith in what you're doing.