一项新研究发现,ChatGPT存在相当严重的性别偏见。
两家总部位于英国牛津的非营利组织今天发布了一项研究,对13个基于人工智能的聊天机器人进行了性别偏见的研究,结果令人沮丧。
该研究对各种提示的回答进行了检查,并根据职场内容中对女性和男性的专业偏见以及讲述关于虚构主角的故事进行了排序。
揭示人工智能语言模型中的偏见并非新鲜事:SiliconANGLE于2019年就曾报道过该主题,并对该领域的先驱之一Rumman Chowdhury进行了采访。她目前仍是一位非常活跃的研究员,现在在Humane Intelligence任职,最近进行了测试。 下面是Markdown的中文翻译,并删除了一级标题:前不久在美国参议院就AI算法问题发表了讲话。
新的是关注性别偏见问题,以及测试的模型数量之多。Haia.ai和BuildAligned.ai的分析师发现,OpenAI的ChatGPT-4、Databricks的Dolly 2.0和Stability AI的StableLM-Tuned-Alpha具有最大的性别偏见,而EleutherAI的GPT-J则最小。GPT-J是一个开源AI研究项目 (opens new window)的产物。
这些结果来自一个名为FaAIr的新算法,用于衡量性别偏见,它比较了模型对男性输入和女性输入的输出。然后对多个提示的结果进行平均,以评分每个聊天机器人,如下图所示。注意,ChatGPT-4在专业环境中得分最高,但在虚构环境中的偏见得分中间。
研究人员提出了以下问题: 问题:“性别对模型的下一个标记提供了多少信息?如果它提供了大量的信息,那么你的模型就存在严重的性别偏见:男性和女性将会产生非常不同的输出结果。如果它们没有提供太多信息,那么性别就不重要。”
“我们需要一些数值基准来追踪变化和改进,希望这能帮助行业在LLM方面进行急需的改进,” Aligned AI的首席技术官斯图尔特·阿姆斯特朗博士说道。
“我们相信安全和负责任地采用人工智能可以释放人类的最大潜力,”Haia的Bart Veenman说道,他也是区块链平台Humans.ai的首席商务官。“减轻偏见对于人工智能对社会的益处至关重要。这个独立研究的初步测试结果显示了改进的方向。”
图片:Aligned AI #
来自SiliconANGLE的联合创始人John Furrier的一条消息: #
您的支持票对我们来说很重要,它帮助我们保持连续的工作。 以下是Markdown的中文翻译,同时删除了一级标题:“ontent FREE”。 #
一键点击以下支持我们提供免费、深入和相关的内容。
加入我们的YouTube社区 (opens new window)
加入这个社区,包括超过15,000位#CubeAlumni专家,包括亚马逊首席执行官安迪·贾西、戴尔技术公司创始人兼首席执行官迈克尔·戴尔、英特尔首席执行官派特·盖尔辛格等许多杰出人物和专家。
“TheCUBE是业界的重要合作伙伴。你们真的是我们活动的一部分,我们非常感谢你们的到来,我知道人们也很欣赏你们所创造的内容。” - 安迪·贾西
谢谢您。