• 请不要在回答技术问题时复制粘贴 AI 生成的内容
daxigua1te
V2EX  ›  程序员

有的时候真不能太相信 AI

  •  
  •   daxigua1te · Sep 14, 2024 · 8174 views
    This topic created in 781 days ago, the information mentioned may be changed or developed.

    最近有个新想法,其中某个核心功能有点复杂,就先在 Github Copilot 上问了下,回答我说有现成的第三方库可以调用,甚至还给出了示例,几行代码直接调用就好。我一看还有这好事,flutter 项目直接搞起,哐哐一顿造,写到这个功能,准备添加依赖了,好家伙,直接提示我没有这个库,顿时傻眼了,还以为哪里出了问题。看了半天发现结果是 AI 在瞎扯淡,我不信邪,告诉他没有这个库,他倒好,老老实实承认错误,又给我哐哐编了一个新第三方库,甚至又给出了示例代码,结果嘛,果然又是个假的。 以前一直用 AI 解决问题,还挺爽的,有些回答可能不怎么准确,也没到瞎扯淡的程度。哎,我果然还是太信任他了。

    41 replies  •  2024-09-15 18:17:16 +08:00
    conge
    conge
    Sep 14, 2024❤️12
    1
    他这是提示你,你可以先把这个库给写出来

    :)
    mobpsycho100
    mobpsycho100
    Sep 14, 2024
    2
    试试 o1-preview, 挺给力的
    mumbler
    mumbler
    Sep 14, 2024
    3
    大模型有幻觉是常识,还好大模型不断在升级,写代码能力一直在提升
    layden
    layden
    Sep 14, 2024
    4
    常见的问题问一下是没问题,太偏太复杂的问题大模型也不懂。但离谱的是,面对它不会的东西它会选择瞎扯,而不是承认不会,有时候觉得这也有点太不够 AI 了吧。
    kyro00000
    kyro00000
    Sep 14, 2024
    5
    早几个月前刷有机化学题的时候就知道啦...
    它随便给你编答案,我照着参考答案都是懵逼的..
    问些简单概念问题它能答对,稍微复杂点就开始瞎编了.
    t41372
    t41372
    Sep 14, 2024 via Android
    6
    @layden 因为 ai 自己其实不知道自己说的是不是对的...
    lloovve
    lloovve
    Sep 14, 2024 via iPhone❤️2
    7
    凡是网上查不到的,他基本都不会!大部分时候只能当搜索工具用
    fds
    fds
    Sep 14, 2024
    8
    也不怪它,毕竟它训练时就是要生成一个尽量合理的答案,还不让上网查。能搜索的 perplexity.ai 会不会好一点?
    sshnuke
    sshnuke
    Sep 14, 2024
    9
    gemini 或者 tongyi 写代码更好些
    fox0001
    fox0001
    Sep 14, 2024 via Android
    10
    @fds #8 perplexity.ai 会好点,但也不能全信
    etwxr9
    etwxr9
    Sep 14, 2024 via Android
    11
    ai 会瞎编是常识,ai 说得再好听也不要信,从根本上就不要尝试用 ai 去做事实判断,只用它做文本分析和处理。越了解 ai 能力的局限性,ai 用起来就越舒服。
    Absofknglutely
    Absofknglutely
    Sep 14, 2024
    12
    第一时间你不去搜一下这个库你就不对了, 😄
    leegradyllljjjj
    leegradyllljjjj
    Sep 14, 2024 via iPhone
    13
    大模型都是概念模型,只能说它认为大概率存在这样的一个库
    Frankcox
    Frankcox
    Sep 14, 2024
    14
    让我想起我们公司一个抽象的开发,问 AI 一个库的某个参数有多少个状态,然后截图发给我们让我当文档用,我们拿着文档一对发现一半都是胡编的。
    helionzzz
    helionzzz
    Sep 14, 2024
    15
    ai 的任务是尽可能模拟
    helionzzz
    helionzzz
    Sep 14, 2024
    16
    @helionzzz 出一个符合逻辑的回答
    iyiluo
    iyiluo
    Sep 14, 2024
    17
    别说,AI 编出来的函数调用还像模像样,但是一运行就露馅了
    wolfie
    wolfie
    Sep 14, 2024 via Android
    18
    一直都这样,有时候非常上头。
    ruobingm
    ruobingm
    Sep 14, 2024
    19
    @fds 就 5 次。。。
    Felldeadbird
    Felldeadbird
    Sep 14, 2024
    20
    一直都是这样啊。有一些库都已经用不了,还不断推荐。还说这是开源的,明明人家库都从开源转换收费版本了。
    代码这方面算好了。OCR 才是离谱。识别不出来就跳开嘛。AI 直接给我自己润色。
    zongren
    zongren
    Sep 14, 2024
    21
    没有这个库,但是先假装有这个库
    lovedebug
    lovedebug
    Sep 14, 2024❤️12
    22
    AI 的悖论:使用者自身必须达到所问领域平均水平,才有能力鉴定真假
    wqhui
    wqhui
    Sep 14, 2024
    23
    ai 只能做你懂的东西,有点像更高级的自动化工具
    lyxxxh2
    lyxxxh2
    Sep 14, 2024
    24
    肯定是你的问题,ai 可是学完的整个 github 。
    你一个程序员怎么比得过几千万程序员的知识。
    (狗头保命)
    summerLast
    summerLast
    Sep 14, 2024
    25
    你不知道你不知道的,AI 知道它不知道的,
    summerLast
    summerLast
    Sep 14, 2024
    26
    @summerLast #25 准确不是 LLM 的首要目标,顺畅对话(即使胡扯)才是,就说流不流畅吧,效果不好,对不起我们会增加训练的数据量的
    monkeyk
    monkeyk
    Sep 14, 2024
    27
    避免 AI 出现胡编乱造,在写提示词时加上:
    请依据你所掌握的广泛知识来严谨作答,避免提供未经证实的信息。

    等类似的内容,就可以很好的处理掉。
    rekulas
    rekulas
    Sep 14, 2024❤️4
    28
    我还以为是 22 年的帖子,看了下时间 确定是现在
    所以我想问 op 你第一天用 ai 吗 😂
    bimiantong
    bimiantong
    Sep 14, 2024
    29
    用好 ai 的前提是掌握正确提问的方法
    zander
    zander
    Sep 14, 2024
    30
    先找到库。
    库这玩意,你找不到,AI 给你找的多半是假的。
    最好是找到库让 AI 帮你读,你参考示例再继续做。
    Jaufey
    Jaufey
    Sep 14, 2024 via iPhone
    31
    哈哈哈喜闻乐见
    NoOneNoBody
    NoOneNoBody
    Sep 14, 2024
    32
    gpt 3.5 出现过几次,4o 后没再见过(也可能是我提问的方式变了)
    给出的代码很完整且阅读通畅,我觉得不是创作出来的,更像是从哪里抄的,应该是有人写了类似的简易模块开源,被 gpt 读到了,但作者并没有把这个模块打包为库,gpt 将人家引用自家模块的代码输出了,结果就是找不到
    AoEiuV020JP
    AoEiuV020JP
    Sep 14, 2024
    33
    好几次了已经,我清清楚楚的问有没有第三方库实现了我说的功能,ai 几乎总是会信誓旦旦地告诉我某个库可以实现,明明白白的告诉我怎么使用, 一查就是没有,
    nyxsonsleep
    nyxsonsleep
    Sep 14, 2024
    34
    @layden #4 因为它的参考语料里没有承认不会的内容。并且由于数据太多,很容易混淆概念。
    Terry05
    Terry05
    Sep 14, 2024
    35
    早就发现它是在胡扯了,比较细节的东西,可以问问他方案,思路一类的,具体的现实内容绝对不能指望
    J0seph
    J0seph
    Sep 14, 2024
    36
    大模型是语言模型,只考虑给的回答通不通顺,又不管对不对
    maemolee
    maemolee
    Sep 14, 2024
    37
    你别管他有没有撒谎,你就说 AI 给你的回答,是不是像模像样的?

    这就是 LLM 的第一要务。
    cosmicray
    cosmicray
    Sep 14, 2024
    38
    反面是无论问什么都回答不知道,这个对模型来说更容易做到,但是也更没用。实际上人也经常编造内容,ai 更严重还是因为认知能力不足。
    win301
    win301
    Sep 15, 2024
    39
    这也算是收获了经验,下次可以先确定依赖库是否真的存在,然后在在确认一下依赖库里的方法是不是确实是你需要的,然后在开始设计程序
    jqtmviyu
    jqtmviyu
    Sep 15, 2024
    40
    除了瞎编库, 还有一本正经的用 n 年前的废弃文档告诉你解决方法.
    PeneceaQwQ
    PeneceaQwQ
    Sep 15, 2024
    41
    不带 RAG 相关的都存在幻觉的,就算有合适的 prompt 都可能存在瞎编,o1 稍微好点

    还是把 AI 当成 idea 获取器和搜索引擎算了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5287 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 106ms · UTC 02:10 · PVG 10:10 · LAX 18:10 · JFK 21:10
    ♥ Do have faith in what you're doing.