美文网首页
Adversarial Defense by Restricti

Adversarial Defense by Restricti

作者: 馒头and花卷 | 来源:发表于2020-07-11 21:09 被阅读0次

Mustafa A., Khan S., Hayat M., Goecke R., Shen J., Shao L., Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks, arXiv preprint arXiv:1904.00887, 2019.

代码

概

类似的, 是large margin的思想, 亮点是多层?

主要内容

以下, f^l表示第l层的输入, f为最后一层的输入.

在这里插入图片描述

一般的网络只有\mathcal{L}_{CE}:
\tag{1} \mathcal{L}_{CE}(x,y)=\sum_{i=1}^m -\log \frac{\exp(w_{y_i}^Tf_i+b_i)}{\sum_{j=1}^k\exp(w_j^Tf_i+b_j)},
从几何上将是不鲁棒的, 所以本文加了一个正则化项:

在这里插入图片描述
显然, 这个是希望和类别中心靠的近, 同时最大化类间距离.

进一步可以拓展到多层情况:


在这里插入图片描述

相关文章

网友评论

      本文标题：Adversarial Defense by Restricti

      本文链接：https://www.haomeiwen.com/subject/rvqwcktx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Adversarial Defense by Restricti|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！