在科幻世界中，“星际迷航：下一代”中的全息甲板被视为互动技术的巅峰。机组人员可以沉浸在逼真的3D环境中，从异国风光到历史城市不一而足。
工程师们从这个虚构的奇迹中汲取灵感，利用先进的AI和视频游戏资产来重现现实世界的等效物。
使用ChatGPT重现星际迷航的全息甲板 #
与全息甲板仅仅通过用户的命令无缝生成环境不同，实际上创建虚拟交互空间一直是一个费力的过程，通常需要艺术家进行手工设计工作。
为了解决这一挑战，宾夕法尼亚大学的研究人员与斯坦福大学、华盛顿大学和艺术智能研究所（AI2）的合作伙伴共同开发了“Holodeck”，这是一个能够使用自然语言命令生成交互式3D环境的系统。
利用像ChatGPT这样的大型语言模型（LLMs），Holodeck解释用户请求并将其转换为详细的虚拟环境。
Holodeck的运作过程类似于与AI助手的对话，用户使用语言描述他们想要的环境。
例如，用户可能请求一个带猫的舒适公寓，促使Holodeck根据提供的描述生成布局、家具和其他元素。
为了实现这一目标，Holodeck通过利用Objaverse中的大量数字对象将虚拟空间填充为适当的物品。
具象AI代理 #
在一系列评估中，Holodeck展示了其生成逼真且连贯场景的能力，据研究团队声称，在用户偏好和逼真度方面超过了先前的方法。
研究团队报告称，与传统方法创建的环境相比，参与者一致认为Holodeck生成的环境更具吸引力，凸显了该系统创建多样化且沉浸式虚拟空间的潜力。
此外，Holodeck在有效训练具象AI代理以在陌生环境中导航方面发挥了重要作用。
通过让AI代理探索Holodeck生成的各种虚拟空间，研究人员观察到代理在不同情境下的导航能力显著提高。
研究人员引用了一个例子，其中在音乐室接受训练的代理的成功率明显提高，而在手动创建环境中接受训练的代理则没有这种增长。
杨在一份新闻稿 (opens new window)中说：“这个领域长期以来一直在研究住宅空间。”
“但是那里有很多不同的环境-高效地生成大量环境来训练机器人一直是一个巨大的挑战，但Holodeck提供了这种功能。”
该团队将在2024年的华盛顿西雅图的IEEE和CVF计算机视觉和模式识别会议上展示Holodeck。
他们的研究结果已经在arXiv上发表 (opens new window)。