明面上说的好听一点算是嵌入,基本上是按non-local的那一块加以更改利用变化出来的一个替代品.但是因为涉及到一些不可名状原因,代码暂时不公布,主要是不知道对还是不对.
本次是基于non-local network添加扩展到3d的attention机制,但是由于了解到这两个之间其实是很类似的,详情可以参见后面的链接https://zhuanlan.zhihu.com/p/33345791.有讲到关于attention和non-local的类似之处,但是经过细读原论文之后发现其实没有他讲的这么绝对,只有在对于公式的f是embedded gaussian时候才有一个类似self-attention的过程.这一点在这周的工作汇报上我也会讲到,这里也不多说啦.(对得起我懒人的称号,码字也不容易啊)
主要是框架用的caffe2,说实话因为函数都不太懂,参考一下后能明白个大概是什么情况,一开始idea工作是之前讲到的在cifar10上的2d测试来的,毕竟是从imagenet的模型上更改的,有一定的不适配.之后的结果也是出来了,但根据网络来看是不太符合的,只有一个attention modelue,不知道最后是不是对的.这次在ucf101上也只是把第一个non-local先去除了,幸亏这两个都是端到端的,不需要考虑输入输出不一样的问题,现在正在安心等结果,可算是暂时了结了一个大头吧.
讲一点点我的想法吧,这一次我的想法就是既然attention是一个解决local的问题,non-local看字面的是non-local就是非局部.那么如果想尽可能多的去掉无关信息,那么只能先进行attention,尽可能把有关的信息抓取到,之后在用non-local接进来和周边的信息进行比对.这样的一个框架图我也简单的画了一遍,但还没有进行对应的测试,准备在第一个测完之后之后几天就是这几个的位置变化看是否会有新的进展.
这一块工作完成并且继续扩展,并且投向CVPR2019了...哎..虽然大家都不抱希望就是了...没听说过初学者一年经验不到空白阅历的第一年敢投CVPR...心真大....要是下一步有进展我们会把代码放出来的...虽然确实没什么用处就是了
Attention3d嵌入到non-local network中
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Non-local Neural Networks Non-local Neural Networks是何凯明大佬...
- Motivation: 文章从BM3D去噪算法中的non-local means 和self-attention出...
- 09119杨静 这是一本既可以学习交通工具，又可以一起玩不同声效，让孩子准备热热闹闹、开心欢唱去上学的绘本！ 上学...
