google研究人员在gecco 2020会议上,发布具有自注意力(self-attention)瓶颈的人工智能代理attentionagent,研究人员运用不注意视盲(inattentional blindness),让attentionagent具有选择性注意力,能够忽略不重要的细节,相较于传统方法,代理泛化学习参数少了1,000倍,可以更好地处理复杂的计算机视觉任务。
不注意视盲是一种人类心理现象,由于选择性注意力,因此人们会漏看视野里部分东西,google提到,这种选择性注意机制,让人们可以专注于重要的事物上,而不分心于无关紧要的细节,他们相信这种机制可以让人们浓缩感官信息,成为一种够简洁的形式,用于未来的决策上。
尽管选择性注意力看起来像是种限制,但google认为,从自然界观察到的这种瓶颈,可用于改善机器学习设计,通过模仿让人工智能学习,生物能够高性能解决任务的方法。过去的深度增强学习,都让人工智能代理能够访问完整的视觉输入,而google现在以注意力限制,来减少人工智能代理访问视觉输入,以提高系统性能,不只可以大幅减少需要的参数,而且因为代理看不见部分视觉输入,因此刚好能避掉那些可能造成混淆的内容,而且查看代理把注意力集中在什么部分,还可以为其决策提供视觉的可解释性。
过去也有类似的研究,利用稀疏性来限制输入内容,而attentionagent则是从人类的不注意视盲获得灵感,当大脑付出努力参与任务时,大部分的注意力会集中在与任务相关的元素上,暂时对其他信号视而不见。为了要实现这件事,google将输入的图像分割成几个小区块,然后修改自注意力架构来模拟小区块间的投票,选出重要的子集,attentionagent会忽略不重要的部分,仅利用重要区块做决策。
关键要素除了视觉输入的截取之外,关联这些要素随时间变化的能力也很重要,像是棒球比赛中的打者,必须利用视觉信号来连续关注棒球的位置,以预测能够打击到球的位置,attentionagent则会利用长短期记忆(lstm)模型,从重要的视觉区块中截取信息,并在每个时步决定一个行动,lstm会关注输入串行变化,并利用这项信息关注关键要素在不同时的演变。
重要区块的可视化,可让研究人员知道人工智能下决策的方法,并说明大多数的选择,是合理且符合人类主动,可作为系统开发阶段,好用的分析和调试工具,另外,google提到,人工智能代理学会忽略非关核心任务的信息,因此经修改还可以推广应用到小环境任务。
google的这项研究,证明仅让人工智能代理访问重要的区块,无视场景其余的部分,可以提升代理泛化(generalize),用于解决其他任务能力,像是在vizdoom takecover环境接受训练的人工智能代理,也能够在其他墙壁较高、地板贴图不同,或是更多令人分心标志的环境下生存。
这样的成果可以被应用在自动驾驶上,应用晴天资料集学习驾驶的代理,也能够将驾驶技能转移到晚上或是下雨天,attentionagent不仅能够解决carracing-v0任务,在其他恶劣环境中,也能达到相近的性能,泛化需要的参数比惯用的方法少1,000倍。
不过,即便attentionagent能够适应环境修改,仍有其限制,像是原本周围都是绿地的赛车背景,一旦换成youtube视频便会失效,又或是更换成均匀的噪声时,人工智能代理的注意力模块便会失效,google提到,他们用于选择重要视觉区块的方法仍不够强健,不足以应对更复杂的任务,因此他们接下来会发展,能从视觉输入截取有意义特征的方法。
降压斩波电路和升压斩波电路的电容、电感、二极管各起什么作用?
隔离电源并非越贵越好,一文教你如何选择
耐能边缘运算在自动驾驶领域的应用介绍
三星成为全球第四大通信设备商,华为与三星将有更激烈的竞争
案例分享 | 纽扣电池石墨片厚度及缺陷检测
Google:人工智能代理技术的研究成果
TDK开发出新系列爱普科斯单端引线式铝电解电容器
【节能学院】安科瑞无线测温产品在杭州萧山国际机场扩建工程项目的应用
HTC在MWC2011大会公布其第一款叫Flyer的平板电脑
国行版PS5将在明年1月21日发布
高通骁龙710手机那么多你知道骁龙710到底有多强
lwm2m协议与MQTT协议有什么区别?怎么选择?哪个更适合物联网?
一站式购齐,利尔达嵌入式产品助力工业领域高效投产
地磅传感器工作原理_地磅传感器检测
生活中常见的性价比比较高的箱变外壳有哪些
汽车仪表板及车身控制设计要领
华为P10各个版本售价曝光,最高售价近六千元,这下可是贵了
快讯:意大利著名设计公司宾尼法利纳采用VR/AR技术进行远程办公
哪些指标会影响频谱仪的底噪 如何降低底噪来测量一些微小信号
微雪电子双通道隔离型CAN总线扩展板介绍