​后续会继续介绍， 主要有三种方式：

通过sampling技术，生成均衡的样本

调整算法，允许算法改变权重weight变得cost-sensitive。

采用集成学习思想， 将major类进行横向划分，形成小的均衡的样本集群。

Sampling技术

Sampling技术比较直观，就是怎么把样本变成均衡的。 我们知道不均衡数据， 最重要的还是收集minority数据。  但是一般这是一个长期的过程。 那么， 在不可能收集到minonrity的情况下， 只能通过“重复”或者产生“假”数据来增加数量，达到均衡。

这里假设是个两类问题， 不均衡就存在major类和minor类。

Sampling技术主要分成两大类：减少majior类达到数量均衡，叫undersampling， 另外一种增加minor类达到数量均衡，叫oversampling。

而undersampling又至少分成两种：一种随机的Resampling（with/without replacement）, 另外一种是带border cleaning的，就是尽量避免选择临近对方的样本。

类似的， oversampling也分成两种，  一类是不生成合成（without-synthesize）数据的， 一类是合成数据的（with-synthesize）。当然，除了这主要的两类， 就是杂交（hybrid）的情况了。

1.Undersampling (downsampling)：

1.1 Resampling （with/without replacement）:

随机选部分majority和minority组合 （不再描述）。

1.2 With border cleaning

基于相邻（neighboring），聚类（clustering）等方法。

2.Oversampling (upsampling)：

2.1 Resampling （with replacement & without synthesize）

随机重复minority和majority组合 （不再描述）。

2.2 With synthesize

线性插值（interpolate）。

3.Hybrid

3.1 With simulation & with border cleaning

先插值然后去除边界等。

undersampling (downsampling) 因为减少了majority的样本数目， 所以潜在的风险是丢失了重要的数据， 很容易underfitting导致，使得泛化性能变差。

oversampling (upsampling) 重复了数据， 也存在风险使得部分数据过于强调，而overfitting， 另外还可能增加计算量。

带边界清理的UnderSampling with Border Cleaning

重要的技术也有两大类：

1. 边界相邻匹配：Tomek Links, NearMiss-T.

2. 聚类：Condensed Nearest Neighbor (CNN)，Edited Nearest Neighbor (ENN)

邻居的定义

一般邻居大体分成三类： A点的kNN主要是其他类， 这个点就是边界点， DANGER情况， 比较难处理。 B点的kNN主要是自己类， 叫安全点SAFE。 如果kNN全是其他类， 那么自己就是Outlier，或者NOISE。

清理Tomek Links：

Tomek links是对于minority的点， 如果它的1NN刚好是majority，那么这就构成了一个Tomek Link， 在undersampling的情况下， 认为这个majority离的太近了， 就会删除这个majority点。

】

NearMiss-T系列算法

NearMiss是基于相邻思想的一系列算法， 有3个典型算法NM-1， NM-2， NM-3。

NearMiss-1：

对于每个majority的点， 找到它对应的在minority里面k个最近邻（Nearest Neighbor）， 然后计算它到这个minority的kNN中心之间距离， 保留那些距离小的点。

NearMiss-2：

刚好和NM-1相反， 它不是找minority里k个最近邻， 而是k个最远邻（Farthest Neighbor）， 然后计算majority里面那个点到这个kFN中心之间的距离， 保留那些距离小的点。NM-2有点诡异，找的是最远的minority点，保留的小距离的majority点。

NearMiss-3：

和NM-1，和NM-3极大不一样的是， NM-3的k个点不是来自minority， 而是来自majority。 对于每个minority的点， 保留与该点最近的majority的kNN点。 k是可调节参数。 是不是刚好和Tomek Links相反。

效果比较：

如下图，可以大致比较一下NM-T系列的效果。

基于聚类的方法：

在解释聚类方法前， 再提一下， 非均衡的扩展，类别内部（inner-class）也是可以有非均衡的。 虽然同一个类， 但是有些特征比较稀少。 因此对于这种情况， 随机的undersampling会导致类别内非均衡性没有被照顾。 如下图， 同一个类别内，还是有不同特征的聚类。

因此聚类方法就是， 将majority进行聚类， 然后找到代表性的类别进行抽样， 这样的好处是既能照顾类别内非均衡， 还能发现outlier和border。

Condensed Nearest Neighbor (CNN)：

通过1NN来压缩majority， 就是找到训练集T的一个子集U，使得T中每个点， 它在U中1NN点都同一个类别就好了。

Edited Nearest Neighbor (ENN)：

类似于Tomek Link的思想， 对于每个majority如果它的kNN投票结果不是majority就删除它。

其他更多的undersampling方法， 例如One-Sided Selection，Instance Hardness Threshold等，可以参考https://github.com/scikit-learn-contrib/imbalanced-learn/blob/master/README.rst

带合成的Oversampling技术 With synthesize

SMOTE -Synthetic Minority Oversampling Technique

最经典的SMOTE算法， 其实比较简单。

第一步， 随机选一个minority点，找它在minority中的kNN点。 然后再从kNN中随机标记一个点。

第二步， 线性差值上面两个点， 生成要的SMOTE点。

Borderline SMOTE

由于SMOTE没有考虑排除前面提到的SAFE, NOISE点的情况, 由于这些点性质明确，不需要合成数据了。 bSMOTE就是只用DANGER点进行合成。

ADASYN - Adaptive synthetic sampling approach for imbalanced learning

ADASYN把前面的SAFE， DANGER， NOISE点的简单划分变成了分布概率。 根据delta和K的比例按权重来合成。 delta就是KNN中属于majority的部分。

杂交 Hybrid

如果把SMOTE和前面的undersampling技术综合起来就是杂交的技术了。

一边合成minority的数据， 一边删除majority的数据，是不是要更快达到均衡。

SMOTE + Tomek

先合成SMOTE点， 然后根据Tomek思想去除Tomek links。

SMOTE +ENN 算法也是类似的。

CBO - Clustering Based Oversampling

另外一种合成是， 先通过clutering只保留核心点， 然后通过合成技术进行oversampling。

Cost-Sensitive Learning

大部分分类算法， 允许安装class的比例来调整权重（weight）， 而形成cost-senistive的学习， 譬如SVM， Random Forest。

权重Weight调整

weight调整就是要保护minority的边界。

集成学习

集成学习的基本思想就是把majority进行划分，然后和minority组合成小的训练集， 然后生成学习器， 最后再集成。

可以根据resampling with replacement做成bagging方式。 也可以根据resampling without replacement做成boosting/cascade方式。

例如：EasyEnsemble， BalanceCascade就是典型的代表。

大杂交

如果再结合oversampling的技术， 就可以杂交出来各种集成学习的技术了。

简单性能比较

这里列举了SMOTE方法，基于cost-sensitive的WeightedRandom Forest（WRF）， 基于集成学习的Balace Random Forest（BRF）的性能， 可以看到其实BRF和WRF效果都比较好， 要比单纯的Oversampling的效果要好。

小结， 本文大体给出了如何学习的基本方法，最后给个整体评价。

Sampling技术：

优点：独立于学习器， 容易实现

缺点：对噪音敏感， 容易欠拟合或者过拟合。

Cost-sensitive学习器：

优点：通过cost自动调节weight来修正bias。

缺点：cost具有不确定性， 算法实现成本高

集成学习：

优点：效果比较好， 对噪音不敏感

缺点：计算量大， 容易过拟合

参考：

http://www.kdnuggets.com/2016/08/learning-from-imbalanced-classes.html/2

https://github.com/scikit-learn-contrib/imbalanced-learn/blob/master/README.rst

https://arxiv.org/pdf/1608.06048.pdf

http://101.96.10.62/statistics.berkeley.edu/sites/default/files/tech-reports/666.pdf