ChatGPT不断产生幻觉—而OpenAI也无法阻止。 ChatGPT于2022年11月推出后引发了前所未有的AI炒作。人们开始将这个聊天机器人用于各种用途，包括研究任务。问题在于，根据OpenAI自身的说法，该应用仅通过“预测可能出现在每个提示的响应中的下一个最可能的单词”来生成“对用户请求的响应”。换句话说：虽然公司有大量的训练数据，但目前没有办法保证ChatGPT实际上向用户展示的是事实准确的信息。相反，生成式AI工具通常会“产生幻觉”，即它们只是编造答案。
对于作业可以，但对于个人数据不行。 当学生使用ChatGPT帮助他们做作业时，不准确的信息可能是可以容忍的，但涉及个人信息时则是不可接受的。自1995年以来，欧盟法律要求个人数据必须准确。目前，这一要求已写入《GDPR》第5条。个人还有根据《GDPR》第16条要求更正不准确数据的权利，并可以要求删除虚假信息。此外，在《GDPR》第15条规定的“访问权”下，公司必须能够展示他们持有的关于个人的数据以及数据来源。
_noyb_的数据保护律师Maartje de Graaf表示：“编造虚假信息本身就是相当棘手的问题。但是当涉及到关于个人的虚假信息时，可能会产生严重后果。很明显，目前公司无法确保像ChatGPT这样的聊天机器人在处理有关个人数据时遵守欧盟法律。如果系统无法产生准确和透明的结果，那么就不能用于生成关于个人的数据。技术必须遵循法律要求，而不是相反。”
简单地编造关于个人的数据并不是选择。 这在很大程度上是一个结构性问题。根据最近的《纽约时报》报道 (opens new window)，“聊天机器人至少有3%的时间会虚构信息—甚至高达27%”。为了说明这个问题，我们可以看看我们对OpenAI提出的案件中的申诉人（一位公众人物）。当被问及他的生日时，ChatGPT一再提供错误信息，而不是告诉用户它没有必要的数据。
ChatGPT捕获的个人没有GDPR权利？ 尽管ChatGPT提供的申诉人的出生日期是不正确的，但OpenAI拒绝了他的更正或删除数据的请求，称无法更正数据。OpenAI表示可以过滤或阻止某些提示的数据（例如申诉人的姓名），但不能阻止ChatGPT过滤有关申诉人的所有信息。OpenAI也未能充分回应申诉人的访问请求。尽管《GDPR》赋予用户要求公司提供有关其所有个人数据副本的权利，但OpenAI未透露任何有关处理的数据、数据来源或接收方的信息。
_noyb_的数据保护律师Maartje de Graaf表示：“遵守访问请求的义务适用于所有公司。显然可以记录用于训练数据的数据，至少可以了解信息来源。似乎每次‘创新’都会有另一组公司认为他们的产品不必遵守法律。”
监管机构迄今为止的努力枉然。 自ChatGPT突然风靡以来，生成式AI工具迅速受到欧洲隐私监管机构的审查。其中，意大利DPA (opens new window)在2023年3月对数据处理施加临时限制时，便提出了有关聊天机器人不准确性的问题。几周后，欧洲数据保护委员会（EDPB）成立了一个专门小组 (opens new window)来协调国家的努力。目前尚不清楚这将导致何种结果。目前，OpenAI似乎甚至不假装能够遵守欧盟的GDPR。
已提起投诉。 _noyb_现在要求奥地利数据保护局（DSB）调查OpenAI的数据处理，以及采取的措施确保公司的大型语言模型处理的个人数据的准确性。此外，我们要求DSB命令OpenAI遵守申诉人的访问请求，并使其处理符合《GDPR》。最后，_noyb_要求当局处以罚款以确保未来的合规。很可能这个案件将通过欧盟合作处理。