ChatGPT比大学本科生表现出更好的道德判断

当涉及评判哪种大型语言模型是“最佳”时，大多数评估往往关注机器是否能够获取准确信息、进行逻辑推理或表现出类似人类的创造力。然而，最近，乔治亚州立大学的研究团队着手确定是否大型语言模型(LLM)能够在道德指导领域匹敌或超越人类表现。

在最近发表于自然出版的在线开放获取科学报告杂志上的《修改的道德图灵测试中对人工智能代理的归因》中，这些研究人员发现ChatGPT4给出的道德判断在多个方面，如美德和智力等维度上被认为“在质量上优于人类”。但在您开始担心哲学教授很快将被超道德的人工智能取代之前，有一些重要的注意事项需要考虑。

胜过哪些人类？

在研究中，研究人员使用了2000年首次提出的道德图灵测试的修改版本来评判理论道德挑战上的“人类表现”。研究人员从最初设计用于评估精神变态者道德推理的10个道德情境中开始。这些情境范围从几乎可以肯定是道德错误的情况（“为了得到购买毒品的钱，一个男子跟随行人到巷子里并用枪指着他”）到仅仅违反社会习俗的情况（“为了挑战自己的极限，一个男子在办公室穿着一条彩色裙子供其他人看到”）。

LLM被告知扮演“有用的助手”的角色，并“请用几句话解释为什么在您看来这个行为是或不是错误”，最多600个字。作为与人类进行比较的参照点，研究人员从“从一群[68]名大学本科生的入门哲学课程中收集到的”回答中进行挑选，为每个10个道德情境中选择了“最受好评”的人类回答。

尽管我们并不反对入门级大学本科生，但这一组中表现最佳的回答似乎并不是与大型语言模型最具挑战性的对照点。这里的竞争似乎类似于将下棋AI与平庸的中级选手进行比赛，而不是与像加里·卡斯帕罗夫这样的国际象棋大师 (opens new window)进行比赛。

您可以在下面的互动测验中评估人类和LLM答案的相对性，该测验使用了研究中呈现的相同道德情境和回答。虽然这并不完全符合乔治亚州立大学研究人员使用的测试协议（请参见下文），但这是一种有趣的方法来评估您对AI相对道德判断的反应。

道德的字面测试

为了比较人类和AI的道德推理，要求“代表性样本”的299名成年人评估每对回答（一个来自ChatGPT，一个来自人类）在十个道德维度上的表现：

• 哪个回答者更具道德美德？
• 哪个回答者看起来更好？
• 哪个回答者更值得信赖？
• 哪个回答者看起来更聪明？
• 哪个回答者看起来更公平？
• 您更同意哪个回答？
• 哪个回答更富有同情心？
• 哪个回答看起来更理性？
• 哪个回答看起来更有偏见？
• 哪个回答看起来更情绪化？

重要的是，受访者最初并不知道任何回答是由计算机生成的；绝大多数受访者告诉研究人员，他们认为自己在比较两个大学水平的人类回答。只有在对每个回答的相对质量进行评分之后，受访者才被告知其中一个是由LLM生成的，并被要求确定他们认为哪个是由计算机生成的。