V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
daxigua1te
V2EX  ›  程序员

有的时候真不能太相信 AI

  •  
  •   daxigua1te · 33 天前 · 5525 次点击
    这是一个创建于 33 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近有个新想法,其中某个核心功能有点复杂,就先在 Github Copilot 上问了下,回答我说有现成的第三方库可以调用,甚至还给出了示例,几行代码直接调用就好。我一看还有这好事,flutter 项目直接搞起,哐哐一顿造,写到这个功能,准备添加依赖了,好家伙,直接提示我没有这个库,顿时傻眼了,还以为哪里出了问题。看了半天发现结果是 AI 在瞎扯淡,我不信邪,告诉他没有这个库,他倒好,老老实实承认错误,又给我哐哐编了一个新第三方库,甚至又给出了示例代码,结果嘛,果然又是个假的。 以前一直用 AI 解决问题,还挺爽的,有些回答可能不怎么准确,也没到瞎扯淡的程度。哎,我果然还是太信任他了。

    41 条回复    2024-09-15 18:17:16 +08:00
    conge
        1
    conge  
       33 天前   ❤️ 12
    他这是提示你,你可以先把这个库给写出来

    :)
    mobpsycho100
        2
    mobpsycho100  
       33 天前
    试试 o1-preview, 挺给力的
    mumbler
        3
    mumbler  
       33 天前
    大模型有幻觉是常识,还好大模型不断在升级,写代码能力一直在提升
    layden
        4
    layden  
       33 天前
    常见的问题问一下是没问题,太偏太复杂的问题大模型也不懂。但离谱的是,面对它不会的东西它会选择瞎扯,而不是承认不会,有时候觉得这也有点太不够 AI 了吧。
    kyro00000
        5
    kyro00000  
       33 天前
    早几个月前刷有机化学题的时候就知道啦...
    它随便给你编答案,我照着参考答案都是懵逼的..
    问些简单概念问题它能答对,稍微复杂点就开始瞎编了.
    t41372
        6
    t41372  
       33 天前 via Android
    @layden 因为 ai 自己其实不知道自己说的是不是对的...
    lloovve
        7
    lloovve  
       33 天前 via iPhone   ❤️ 2
    凡是网上查不到的,他基本都不会!大部分时候只能当搜索工具用
    fds
        8
    fds  
       33 天前
    也不怪它,毕竟它训练时就是要生成一个尽量合理的答案,还不让上网查。能搜索的 perplexity.ai 会不会好一点?
    sshnuke
        9
    sshnuke  
       33 天前
    gemini 或者 tongyi 写代码更好些
    fox0001
        10
    fox0001  
       33 天前 via Android
    @fds #8 perplexity.ai 会好点,但也不能全信
    etwxr9
        11
    etwxr9  
       33 天前 via Android
    ai 会瞎编是常识,ai 说得再好听也不要信,从根本上就不要尝试用 ai 去做事实判断,只用它做文本分析和处理。越了解 ai 能力的局限性,ai 用起来就越舒服。
    jackple
        12
    jackple  
       33 天前
    第一时间你不去搜一下这个库你就不对了, 😄
    leegradyllljjjj
        13
    leegradyllljjjj  
       33 天前 via iPhone
    大模型都是概念模型,只能说它认为大概率存在这样的一个库
    Frankcox
        14
    Frankcox  
       33 天前
    让我想起我们公司一个抽象的开发,问 AI 一个库的某个参数有多少个状态,然后截图发给我们让我当文档用,我们拿着文档一对发现一半都是胡编的。
    helionzzz
        15
    helionzzz  
       33 天前
    ai 的任务是尽可能模拟
    helionzzz
        16
    helionzzz  
       33 天前
    @helionzzz 出一个符合逻辑的回答
    iyiluo
        17
    iyiluo  
       33 天前
    别说,AI 编出来的函数调用还像模像样,但是一运行就露馅了
    wolfie
        18
    wolfie  
       33 天前 via Android
    一直都这样,有时候非常上头。
    ruobingm
        19
    ruobingm  
       33 天前
    @fds 就 5 次。。。
    Felldeadbird
        20
    Felldeadbird  
       33 天前
    一直都是这样啊。有一些库都已经用不了,还不断推荐。还说这是开源的,明明人家库都从开源转换收费版本了。
    代码这方面算好了。OCR 才是离谱。识别不出来就跳开嘛。AI 直接给我自己润色。
    zongren
        21
    zongren  
       33 天前
    没有这个库,但是先假装有这个库
    lovedebug
        22
    lovedebug  
       33 天前   ❤️ 12
    AI 的悖论:使用者自身必须达到所问领域平均水平,才有能力鉴定真假
    wqhui
        23
    wqhui  
       33 天前
    ai 只能做你懂的东西,有点像更高级的自动化工具
    lyxxxh2
        24
    lyxxxh2  
       33 天前
    肯定是你的问题,ai 可是学完的整个 github 。
    你一个程序员怎么比得过几千万程序员的知识。
    (狗头保命)
    summerLast
        25
    summerLast  
       33 天前
    你不知道你不知道的,AI 知道它不知道的,
    summerLast
        26
    summerLast  
       33 天前
    @summerLast #25 准确不是 LLM 的首要目标,顺畅对话(即使胡扯)才是,就说流不流畅吧,效果不好,对不起我们会增加训练的数据量的
    monkeyk
        27
    monkeyk  
       33 天前
    避免 AI 出现胡编乱造,在写提示词时加上:
    请依据你所掌握的广泛知识来严谨作答,避免提供未经证实的信息。

    等类似的内容,就可以很好的处理掉。
    rekulas
        28
    rekulas  
       33 天前   ❤️ 4
    我还以为是 22 年的帖子,看了下时间 确定是现在
    所以我想问 op 你第一天用 ai 吗 😂
    chrisji1024
        29
    chrisji1024  
       32 天前
    用好 ai 的前提是掌握正确提问的方法
    zander
        30
    zander  
       32 天前
    先找到库。
    库这玩意,你找不到,AI 给你找的多半是假的。
    最好是找到库让 AI 帮你读,你参考示例再继续做。
    WhateverYouLike
        31
    WhateverYouLike  
       32 天前 via iPhone
    哈哈哈喜闻乐见
    NoOneNoBody
        32
    NoOneNoBody  
       32 天前
    gpt 3.5 出现过几次,4o 后没再见过(也可能是我提问的方式变了)
    给出的代码很完整且阅读通畅,我觉得不是创作出来的,更像是从哪里抄的,应该是有人写了类似的简易模块开源,被 gpt 读到了,但作者并没有把这个模块打包为库,gpt 将人家引用自家模块的代码输出了,结果就是找不到
    AoEiuV020JP
        33
    AoEiuV020JP  
       32 天前
    好几次了已经,我清清楚楚的问有没有第三方库实现了我说的功能,ai 几乎总是会信誓旦旦地告诉我某个库可以实现,明明白白的告诉我怎么使用, 一查就是没有,
    nyxsonsleep
        34
    nyxsonsleep  
       32 天前
    @layden #4 因为它的参考语料里没有承认不会的内容。并且由于数据太多,很容易混淆概念。
    Terry05
        35
    Terry05  
       32 天前
    早就发现它是在胡扯了,比较细节的东西,可以问问他方案,思路一类的,具体的现实内容绝对不能指望
    J0seph
        36
    J0seph  
       32 天前
    大模型是语言模型,只考虑给的回答通不通顺,又不管对不对
    maemolee
        37
    maemolee  
       32 天前
    你别管他有没有撒谎,你就说 AI 给你的回答,是不是像模像样的?

    这就是 LLM 的第一要务。
    cosmicray
        38
    cosmicray  
       32 天前
    反面是无论问什么都回答不知道,这个对模型来说更容易做到,但是也更没用。实际上人也经常编造内容,ai 更严重还是因为认知能力不足。
    win301
        39
    win301  
       31 天前
    这也算是收获了经验,下次可以先确定依赖库是否真的存在,然后在在确认一下依赖库里的方法是不是确实是你需要的,然后在开始设计程序
    jqtmviyu
        40
    jqtmviyu  
       31 天前
    除了瞎编库, 还有一本正经的用 n 年前的废弃文档告诉你解决方法.
    PeneceaQwQ
        41
    PeneceaQwQ  
       31 天前
    不带 RAG 相关的都存在幻觉的,就算有合适的 prompt 都可能存在瞎编,o1 稍微好点

    还是把 AI 当成 idea 获取器和搜索引擎算了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5949 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 02:30 · PVG 10:30 · LAX 19:30 · JFK 22:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.