• 思想操纵机器人成真!李飞飞的团队可以做家务和游戏

  • 2023-11-23
当前位置:首页 > 新闻资讯

西风 发自 凹非寺。思想
量子位 | 公众号 QbitAI。操纵

斯坦福李飞飞 、机器吴佳俊带队让《阿凡达》。人成意念操控。真李照进现实!飞飞

现在 ,团队操纵机器人只需要动动脑筋。游戏

如果你想吃寿喜锅,思想你不必自己做 。操纵切菜备菜 ,机器倒入配料。人成机器人一次完成:



做饭和煮茶 :



忙完后 ,真李你可以顺便清理桌面:



你认为已经结束了吗?这个机器人也是飞飞玩游戏的好手:



甚至可以帮你熨衣服:



关键是旁边的操作员只需要坐在那里“冥想” ,不需要手摇摇杆。团队



由于研究团队最新开发的脑机接口系统 ,所有这些都可以做到。NOIR。 。

这是一个通用的智能系统 ,用户不需要佩戴侵入性设备,机器人可以从脑电信号中解码人类意图。

而且还配备了一个“技能库” ,可以随意组合各种技能完成人类指令 ,轻松应对高达 。日常任务20项 。。

要知道 ,常规的脑机接口系统一般只专注于一个或几个任务。

目前 ,本研究已收录在机器人顶会CoRL中 2023:



围观网友一个一个哦买嘎:

  • 哦买嘎,游戏规则变化者 !



清华叉院助理教授徐华哲也来到评论区支持:

  • 哦买嘎 ,赛博朋克!



什么是这个NOIR系统?为什么机器人能完成这么多任务 ?

轻松拿下20项任务 。

就像上面说的  ,这个机器人能做的事情很多。

奶酪粉的任务也可以很容易地完成:



拆卸包装和整理桌面:





它背后的NOIR系统可以分为两部分:模块化解码管道和具有原始技能库的机器人系统 。

专注于让机器人自动学习预测人类的意图 。



具体来说 ,模块化管道将解码人类意图过程分为三个模块  :

1)选择什么对象?

方法是在屏幕上显示任务场景,利用对象的闪烁刺激产生SSVEP信号;每个对象以不同的频率闪烁 。当人类观察某个对象时,脑电信号中的频率成分增加。

然后使用Canonical Correlation Analysis(CCA)方法,分析不同频率的相关性,确定人类注视的对象 。

2)如何互动  ?

这部分是通过提示人类想象执行某些技能(左手、右手等)来产生运动图像信号,然后使用滤波器和Common Spatial Pattern (CSP)算法预处理信号 。

最后 ,使用Quadratic使用 Discriminant Analysis (QDA)识别4类,确定技能选择 。

3)在哪里互动?

选择技能执行的具体参数 ,人类想象控制光标的左右运动。脑电信号也通过CSP和QDA处理和解码来判断人类是左还是右。

研究人员还建立了确认或拒绝脑电信号解码结果的安全机制,以避免解码错误造成的风险 。



之后  ,机器人配备了Pick等一系列基本参数技能(x,y  ,z)、Place(x ,y ,z)、Push(x ,y ,z,d) 。

这些技能可以结合起来完成人类指定的任务。



在这个过程中 ,解码人类的意图既费时又费钱 。因此 ,研究团队选择让机器人基于检索的少样本学习人类的对象 、技能和参数选择。

这样 ,当给出新的任务时,机器人会在记忆中找到最相关的经验,并选择相应的技能和对象  。



例如,假设人类正在执行抓取杯子的任务 ,并选择在杯子的某个特定位置抓取杯子(例如杯子的把手) 。机器人会记录当时的图像和人类选择的抓取点。

在随后的任务中,当机器人看到新的杯子图像时,它首先根据预训练模型分析新图像,提取图像的语义特征  。

然后计算新图像特征与之前记录的训练图像特征之间的相似性,找出最相似的点作为其预测的抓取位置 。

通过这种匹配图像特征的方式 ,机器人可以在未来预测自己的参数 ,而不是每次都完全重新选择。



三名人类参与者使用NOIR系统完成了上述20项日常活动任务,包括16项桌面操作任务和4项移动操作任务。



在测试中,每项任务平均需要尝试1.8次才能成功,平均完成时间为20.3分钟 ,主要是人类决策和解码耗时 ,占总耗时的80%。



实验各阶段的解码精度与其他脑机接口研究相似,但使用这种方法可以将对象和技能的选择时间从45.7秒减少到18.1秒 。



作者简介 。

除李飞飞教授、吴佳俊教授带队外 ,共有四篇论文 :

Ruohan Zhang 。



Ruohan Zhang是斯坦福视觉与学习实验室(SVL)博士后研究员也是Wu Tsai Human Performance Allliance研究员 。

主要研究方向是机器人技术、人机交互 、脑接口、认知科学和神经科学 。

Sharon Lee。



Sharon Lee是斯坦福大学的视觉与学习实验室(SVL)研究生研究员。

Minjune Hwang 。



Minjune Hwang是斯坦福大学计算机科学研究生 ,在加州大学伯克利分校获得计算机科学与统计学学士学位 ,曾在亚马逊 、微软和苹果学习。

Ayano Hiranaka。

伊利诺伊大学香槟分校毕业于斯坦福大学研究生。

论文链接 :https://arxiv.org/abs/2311.0145 。

参考链接  :
[1]https://twitter.com/drjimfan/status/1722674119794434187。
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492 。