您现在的位置:新闻首页>购彩大厅

学界 Facebook何恺明等人最新论文提出非局部神经网络

2018-05-11 16:27编辑:admin人气:


  Facebook何恺明和RGB两位研究者比来提出非局部操作non-local operations为处理视频处置中时空域的长距离依赖打开了新的标的目的。文章采用图像去噪中常用的非局部平均的思惟处置局部特征与全图特征点的关系。这种非局部操作能够很便利的嵌入已有模子,在视频分类使命中取得的很好的成果,并在在静态图像识此外使命中跨越了何恺明本人ICCV最佳论文的Mask R-CNN。何恺明等人提出新的非局部通用收集布局,超越CNN。

  何恺明博士,2007年清华大学结业之后起头在微软亚洲研究院(MSRA)练习,2011年香港中文大学博士结业后正式插手MSRA,目前在Facebook AI Research (FAIR)尝试室担任研究科学家。曾以第一作者身份拿过两次CVPR最佳论文奖(2009和2016),一次ICCV最佳论文。

  图像去噪长短常根本也长短常需要的研究,去噪常常在更高级的图像处置之前进行,是图像处置的根本。图像中的噪声常常用高斯噪声N(μ,σ^2)来近似暗示。 一个无效的去除高斯噪声的体例是图像求平均,对N幅不异的图像求平均的成果将使得高斯噪声的方差降低到本来的N分之一,此刻结果比力好的去噪算法都是基于这一思惟来进行算法设想。

  NL-Means的全称是:Non-Local Means,直译过来长短局部平均,在2005年由Baudes提出,该算法利用天然图像中遍及具有的冗余消息往来来往噪声。与常用的双线性滤波、中值滤波等操纵图像局部消息来滤波分歧的是,它操纵了整幅图像来进行去噪,以图像块为单元在图像中寻找类似区域,再对这些区域求平均,可以或许比力好地去掉图像中具有的高斯噪声。

  凡是的CNN收集模仿人的认知过程,在收集的相邻两层之间利用局部毗连来获取图像的局部特征,一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为慎密,而距离较远的像素相关性则较弱。因此,每个神经元其实没有需要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的消息分析起来就获得了全局的消息。收集部门连通的思惟,也是受开导于生物学里面的视觉系统布局,底层的去捕获轮廓消息,中层的组合轮廓消息,高层的组合全局消息,最终分歧的全局消息最终被分析,但因为采样以及消息逐层传送丧失了大量消息,所以保守cnn在全局消息捕获上具有局限性。

  可是为了识别挥拍这个动作,仅仅关心手腕四周的消息是不敷的,我们需要领会到人的手腕跟他的胳膊、肩膀、膝盖以及脚发生了哪些一系列的相对位移才能判断出挥拍动作。这些消息是将网球区别于其他活动的主要消息,由于静止来看活动员都拿着拍子站在那罢了。而这些主要的全局位移消息很难被关心局部的卷积核收集到。

  为了处置这些全局动作消息,文章自创NL-Means中操纵整幅图去噪的思惟。前面讲到 NL-Means操纵了整幅图像来进行去噪,以图像块为单元在图像中寻找类似区域,再对这些区域求平均,它的滤波过程能够用下面公式来暗示:

  这里x是输入信号,也是和x尺寸一样的输出信号,i代表时间空间上的输出位置索引,j代表全图中所有可能位置的列举索引。函数f(x_i, x_j)计较位置i和j的权重。函数g用来计较j位置输入信号的一个暗示。文章中的Non-Local操作就是考虑了图像中的所有可能位置j。

  这里y_i就是公式(1)中的输出成果。+x_i暗示残差毗连。残差毗连是何恺明在他的2016年CVPR最佳论文中提出的。这个残差毗连使得我们能够将这个Non-local Block很便利的插入已有的预锻炼模子中,而不会粉碎模子原有的操作。

  表3是在Kinetics上的比力成果。标识表记标帜+是指在测试集上的成果,其余没有标识表记标帜

(来源:未知)

织梦二维码生成器
已推荐
0
  • 凡本网注明"来源:的所有作品,版权均属于中,转载请必须注明中,http://insidepersonalgrowth.net。违反者本网将追究相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。






图说新闻

更多>>
脱去冶金工业排放烟气中SO

脱去冶金工业排放烟气中SO



返回首页