聚类训练Clustering Training for Robu

作者: wangxiaoguang | 来源:发表于2020-06-26 23:02 被阅读0次

聚类训练Clustering Training for Robu
聚类(Clustering)
聚类（Clustering）
谱聚类算法总结
密度聚类算法——DBSCAN
全面解析Kmeans聚类(Python)
2019-04-03 文献阅读 Challenges in un
10高通量测序-层次聚类
机器学习 - DBSCAN聚类算法
【论文理解】OPTICS: Ordering Points to

ClustTR: Clustering Training for Robustness

Motasem Alfarra, Juan C. Pérez, Adel Bibi, Ali Thabet, Pablo Arbeláez, Bernard Ghanem
arXiv preprint arXiv:2006.07682.

作者提出聚类训练（ClusTR），将聚类的思想应用于模型的输出空间，并设计出相应的clustering loss，通过反向传播学习出鲁棒的模型。

首先定义基于聚类的分类器
给定输入-标签对 $\mathcal{D}=\left\{x_{i}, y_{i}\right\}_{i=1}^{N}$ ， $x_{i} \in \mathbb{R}^{n}$ ，标签总共有 $L$ 个类别
DNN定义为 $f_{\theta}: \mathbb{R}^{n} \rightarrow \mathbb{R}^{d}$
考虑最简单的二分类情况，即 $L=2$ ，每个类别的簇数 $K=1$
$x_i$ 被分类为簇1，当且仅当
$\left\|f_{\theta}\left(x_{i}\right)-\mu_{1}\right\|<\left\|f_{\theta}\left(x_{i}\right)-\mu_{2}\right\|$ （ $\mu_{1}$ 是簇1的中心， $\mu_{2}$ 是簇2的中心）
假设 $f_{\theta}$ 是Lipschitz连续，即
$\left\|f_{\theta}(x)-f_{\theta}(y)\right\| \leq \mathcal{L}_{f}\|x-y\|$
$x$ 添加扰动 $\delta$ 后，即 $x+\delta$ 依然被分类正确，则有
$\left\|f_{\theta}(x+\delta)-\mu_{1}\right\|<\left\|f_{\theta}(x+\delta)-\mu_{2}\right\|$
其中， $\delta$ 满足
$\|\delta\|<\frac{\left\|f_{\theta}(x)-\mu_{2}\right\|^{2}-\left\|f_{\theta}(x)-\mu_{1}\right\|^{2}}{2 \mathcal{L}_{f}\left\|\mu_{2}-\mu_{1}\right\|}$
推广到多类多簇
类别数 $L$ ，每个类别的簇数为 $K$
$\mu_{1}=\mu_{i^{*}, j^{*}}=\arg min _{i \in\{1, \ldots, L\}, j \in\{1, \ldots, K\}}\left\|f(x)-\mu_{i, j}\right\|$
$\mu_{2}=\mu_{k^{*}, l^{*}}=\arg min _{i \in\{1, \ldots, L\} /\left\{i^{*}\right\}, j \in\{1, \ldots, K\}}\left\|f(x)-\mu_{i, j}\right\|$
其它类别同理
聚类损失Clustering Loss
设计聚类损失的核心思想在于，使同类特征距离中心越近，不同类距离中心越远
给定衡量同类距离的函数 $\mathcal{F}$ ，衡量不同类距离的函数 $\mathcal{G}$ ，综合考虑 $\mathcal{F}$ 和 $\mathcal{G}$ 的稳定损失 $\mathcal{H}$ ，则有一般形式的聚类损失
$\mathcal{L}_{\text {Clustering }}^{\text {Robust }}=\frac{1}{N} \sum_{i=1}^{N} \mathcal{H}\left(\mathcal{F}\left(f_{\theta}\left(x_{i}\right),\left\{\mu_{c_{i}, j}\right\}_{j=1}^{K}\right), \mathcal{G}\left(f_{\theta}\left(x_{i}\right),\left\{\mu_{v \neq c_{i}, j}\right\}_{j=1}^{K}\right)\right)$

聚类训练Clustering Training for Robu
ClustTR: Clustering Training for RobustnessMotasem Alfarr...
聚类(Clustering)
1.无监督学习：简介聚类算法：第一个无监督学习算法（无标签的数据）什么是无监督学习呢？对比：监督学习问题指的是...
聚类（Clustering）
无监督学习（Unsupervised learning）：训练样本的标记信息是未知的，目标是为了揭露训练样本的内在...
谱聚类算法总结
聚类三种方法：k-means聚类、密度聚类、层次聚类和谱聚类Spectrum Clustering 简述谱聚类是...
密度聚类算法——DBSCAN
Clustering 聚类密度聚类——DBSCAN 前面我们已经介绍了两种聚类算法：k-means和谱聚类。今天...
全面解析Kmeans聚类(Python)
一、聚类简介 Clustering (聚类)是常见的unsupervised learning (无监督学习)方法...
2019-04-03 文献阅读 Challenges in un
single cell clustering Key Point scRNA数据分析聚类策略选择聚类的Techn...
10高通量测序-层次聚类
层次聚类层次聚类(Hierarchical Clustering)通常与热图有关(heatmap)。热图的列代表...
机器学习 - DBSCAN聚类算法
1. DBSCAN简介密度聚类（亦称基于密度的聚类算法，density-based clustering）算法...
【论文理解】OPTICS: Ordering Points to
原文链接? 4. Identifying The Clustering Structure 确认聚类结构 The ...