思想操纵机器人成真！李飞飞的团队可以做家务和游戏

西风 发自 凹非寺。思想
量子位 | 公众号 QbitAI。操纵

斯坦福李飞飞
、机器吴佳俊带队让《阿凡达》。人成意念操控。真李照进现实！飞飞

现在 ，团队操纵机器人只需要动动脑筋。游戏

如果你想吃寿喜锅，思想你不必自己做
。操纵切菜备菜 ，机器倒入配料。人成机器人一次完成：

做饭和煮茶 ：

忙完后，真李你可以顺便清理桌面：

你认为已经结束了吗？这个机器人也是飞飞玩游戏的好手:

甚至可以帮你熨衣服:

关键是旁边的操作员只需要坐在那里“冥想” ，不需要手摇摇杆。团队

由于研究团队最新开发的脑机接口系统 ，所有这些都可以做到。NOIR。。

这是一个通用的智能系统 ，用户不需要佩戴侵入性设备，机器人可以从脑电信号中解码人类意图。

而且还配备了一个“技能库” ，可以随意组合各种技能完成人类指令，轻松应对高达。日常任务20项 。。

要知道 ，常规的脑机接口系统一般只专注于一个或几个任务。

目前 ，本研究已收录在机器人顶会CoRL中 2023：

围观网友一个一个哦买嘎:

• 哦买嘎
  ，游戏规则变化者！

清华叉院助理教授徐华哲也来到评论区支持：

• 哦买嘎 ，赛博朋克！

什么是这个NOIR系统？为什么机器人能完成这么多任务？

轻松拿下20项任务。

就像上面说的  ，这个机器人能做的事情很多。

奶酪粉的任务也可以很容易地完成：

拆卸包装和整理桌面：

它背后的NOIR系统可以分为两部分
：模块化解码管道和具有原始技能库的机器人系统 。

专注于让机器人自动学习预测人类的意图 。

具体来说，模块化管道将解码人类意图过程分为三个模块 ：

1）选择什么对象？

方法是在屏幕上显示任务场景，利用对象的闪烁刺激产生SSVEP信号；每个对象以不同的频率闪烁。当人类观察某个对象时，脑电信号中的频率成分增加。

然后使用Canonical Correlation Analysis(CCA)方法，分析不同频率的相关性，确定人类注视的对象 。

2)如何互动 ？

这部分是通过提示人类想象执行某些技能(左手、右手等)来产生运动图像信号
，然后使用滤波器和Common Spatial Pattern (CSP)算法预处理信号 。

最后，使用Quadratic使用 Discriminant Analysis (QDA)识别4类，确定技能选择 。

3)在哪里互动？

选择技能执行的具体参数 ，人类想象控制光标的左右运动。脑电信号也通过CSP和QDA处理和解码来判断人类是左还是右。

研究人员还建立了确认或拒绝脑电信号解码结果的安全机制，以避免解码错误造成的风险。

之后 ，机器人配备了Pick等一系列基本参数技能（x，y ，z）、Place（x
，y ，z）、Push（x，y，z，d） 。

这些技能可以结合起来完成人类指定的任务。

在这个过程中 ，解码人类的意图既费时又费钱。因此
，研究团队选择让机器人基于检索的少样本学习人类的对象、技能和参数选择。

这样 ，当给出新的任务时
，机器人会在记忆中找到最相关的经验，并选择相应的技能和对象 。

例如
，假设人类正在执行抓取杯子的任务，并选择在杯子的某个特定位置抓取杯子(例如杯子的把手) 。机器人会记录当时的图像和人类选择的抓取点。

在随后的任务中，当机器人看到新的杯子图像时，它首先根据预训练模型分析新图像，提取图像的语义特征 。

然后计算新图像特征与之前记录的训练图像特征之间的相似性，找出最相似的点作为其预测的抓取位置 。

通过这种匹配图像特征的方式 ，机器人可以在未来预测自己的参数，而不是每次都完全重新选择。

三名人类参与者使用NOIR系统完成了上述20项日常活动任务，包括16项桌面操作任务和4项移动操作任务。

在测试中，每项任务平均需要尝试1.8次才能成功，平均完成时间为20.3分钟 ，主要是人类决策和解码耗时 ，占总耗时的80%
。

实验各阶段的解码精度与其他脑机接口研究相似，但使用这种方法可以将对象和技能的选择时间从45.7秒减少到18.1秒 。

作者简介 。

除李飞飞教授、吴佳俊教授带队外 ，共有四篇论文：

Ruohan Zhang。

Ruohan Zhang是斯坦福视觉与学习实验室（SVL）博士后研究员也是Wu Tsai Human Performance Allliance研究员。

主要研究方向是机器人技术、人机交互
 、脑接口、认知科学和神经科学。

Sharon Lee
。

Sharon Lee是斯坦福大学的视觉与学习实验室（SVL）研究生研究员。

Minjune Hwang 。

Minjune Hwang是斯坦福大学计算机科学研究生 ，在加州大学伯克利分校获得计算机科学与统计学学士学位，曾在亚马逊、微软和苹果学习。

Ayano Hiranaka。

伊利诺伊大学香槟分校毕业于斯坦福大学研究生。

论文链接
：https://arxiv.org/abs/2311.0145。

参考链接  ：
[1]https://twitter.com/drjimfan/status/1722674119794434187。
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492。