ChatGPT可信吗?新研究称该工具提供的编程回复有52%的时间不准确
2024 年 5 月 27 日

人工智能的世界确实改变了科技行业,这意味着我们的生活可能再也不会一样了。

ChatGPT、Gemini和Copilot等工具让我们看到问题的答案以光速生成。而我们大多数人都相信我们所读到的一切,却不明白它们可能是多么错误。

针对 OpenAI 的 ChatGPT 进行的一项新研究让我们更清楚地了解了这一功能是否可信,以及在什么程度上可信。但如果说这些统计数据让我们感到恐慌,那也不为过。

ChatGPT 和其他主要的人工智能助手以提供快速的编码和编程回复而备受赞誉,这意味着速度超过了当今人类的水平。

你只需给出提示,很快就会得到回复,但多亏了最新的研究,你不应该过于信任,因为大多数回复中包含与编程查询相关的错误数据。

这一消息来自于本月进行的一项研究,该研究在 Computer Human Interaction Conference (opens new window) 上公布。普渡大学的一个研究团队对这一热门人工智能工具收到的一系列问题进行了检查。

他们得到的回复错误率高达 52%。此外,令人惊讶的是,77% 的答案被发现过于冗长。这就意味着,如果你一直依赖像 ChatGPT 这样的人工智能工具来提供与编程相关的数据,你可能需要三思。

我们同意并不是所有的人工智能都可以始终信任,但有些错误的概率确实很高。任何一款人工智能聊天机器人如果经常给出错误答案,就必须避免使用,如果必须使用,则需要仔细检查,因为事情出错的概率太高了。

普渡大学的专家表示,人类程序员更加可靠,因此更受人们青睐。这就是为什么他们是 35% 人们首选的原因,如果你想要正确的信息,这一比例需要增加。

人类更具表现力和详尽的细节,而且往往以最有条理的语言风格提供回复。更糟糕的是,研究表明,人类程序员在 39% 的时间里无法意识到他们提供的回复实际上是错误的,充满了错误。

这是一个严肃的警示,这只是揭示了一项令人担忧的研究。这证明了生成式人工智能机器人继续犯下严重错误,而人类可能无法发现这些错误。

谷歌在五月初为搜索引入了 AI Overviews from Google (opens new window)。他们一直以来都为搜索提供了一些最 奇怪的 (opens new window)错误填满的摘要 (opens new window)

搜索巨头拒绝将它们视为严重错误,因此称它们为偶发事件和个案 (opens new window)。他们认为那些奇怪或所谓的危险回复主要与不常见的问题相关。它们并不代表大多数人的经历。

此外,谷歌称赞了大多数时间用户都在获得高质量的回复和链接,使他们能够进行比以往更深入的搜索。但它仍在调查此事,并感谢在这方面提供的所有反馈。