ChatGPT答错编程问题的比率为52%: 研究

人工智能聊天机器人如OpenAI的ChatGPT被宣传为一种革命性工具，可以帮助员工提高工作效率，未来可能会完全取代这些人。但一项令人震惊的新研究 (opens new window)发现，ChatGPT在52%的情况下会错误回答计算机编程问题。

为什么每个人都在起诉人工智能公司? | 未来科技

普渡大学的研究，首次被新闻媒体Futurism (opens new window)发现，该研究于本月初在夏威夷的计算机人机交互会议 (opens new window)上展示，研究了517个Stack Overflow上的编程问题，然后将这些问题输入ChatGPT。

“我们的分析显示，52%的ChatGPT答案包含错误信息，77%答案冗长，”这项新研究解释道。“尽管如此，我们的用户研究参与者仍然因为ChatGPT答案的全面性和清晰的语言风格而在35%的情况下更喜欢它。”

令人不安的是，研究中的程序员并不总能察觉AI聊天机器人产生的错误。

“然而，他们在39%的时间内也忽略了ChatGPT答案中的错误信息，”研究称。“这表明需要对ChatGPT对编程问题的答案中的错误信息进行反驳，并提高人们对看似正确答案所带来的风险的认识。”

显然，这只是一个研究，可以在线阅读 (opens new window)，但它指出了任何使用这些工具的人都能理解的问题。目前，大型科技公司正投入数十亿美元用于开发最可靠的聊天机器人。Meta、微软和谷歌都在争相领先这个潜在彻底改变我们与互联网关系的新兴领域的竞赛。但是，还有一些障碍摆在面前。

其中最主要的问题是，人工智能经常不可靠，特别是当用户问一个真正独特的问题时。谷歌的新AI搜索经常会发布垃圾信息 (opens new window)，通常这些信息来自不可靠的来源。事实上，这周Google搜索多次将《洋葱报》的讽刺文章呈现为可靠信息 (opens new window)。

谷歌为自己辩护，坚称错误答案只是个别案例。

“我们看到的例子通常是非常罕见的查询，并且不代表大多数人的体验，”谷歌一位发言人在本周早些时候通过电子邮件告诉Gizmodo.“绝大多数AI概述提供高质量信息，并提供链接以深入了解网页。”

但这种辩护，即“罕见查询”导致错误答案，实在令人发笑。用户难道只能向这些聊天机器人问一些最普通的问题吗？当承诺是这些工具应该是革命性的时，这样做是可以接受的吗？

OpenAI并未立即回应有关ChatGPT答案的新研究的请求。如果有回应，Gizmodo将更新这篇文章。