定量方法
Kurtosis measure(峰度)
- 统计学中,峰度(Kurtosis)衡量的是随机变量概率分布的峰态。峰度越大,说明该数据系列中的极端值越多。
缺点:这个指标会根据样本量的大小而变化,一般样本量越大峰度也就越大,不同样本量大小的峰度是不可比的。
代码
kurtosis <- function(x){
scale_x <- scale(x)
sum(scale_x**4)/length(scale_x)
}
统计检验
- Grubbs' Test: 这是测试单个异常值时推荐的检验。
- Tietjen-Moore Test: 这是 Grubbs 检验对多个异常值情况的推广。它的限制是必须准确指定异常值的数量。
- Generalized Extreme Studentized Deviate (ESD) Test : 此检验仅需要可疑异常值数量的上限,并且是在不知道异常值的确切数量时推荐的测试。
Grubbs' Test
- 需要使得数据服从正态分布
- H0 (null hypothesis): There is no outlier in the data.
HA (alternative hypothesis): There is an outlier in the data. - 代码
library(outliers)
grubbs.test(x, type = 10, opposite = FALSE, two.sided = FALSE)
基于近邻度的模型
- 基于近邻度的模型(proximity-based models),其核心观念是:基于相似度和距离函数,离群点是那些与其他节点孤立的数据点。近邻模式是离群值分析这一领域中最流行的一类方法。其中包括聚类方法(clustering)、基于密度的方法(density-baed)和最近邻方法(nearest-neighbor)。
- 在最近邻方法中,计算每个数据点到其k个最近邻的距离,并将其视为离群得分。
- 选定k (k>1),在该方法中,会将那些与大部队相去甚远的小节点群体视为离群点。这是情有可原的,因为在数据生成过程中,如若发生了异常,也可能会产生一系列比较少的相关节点,它们虽然相互之间离的很近,但也应视作异常点。
Local Outlier Factor (LOF, 局部离群因子)
LOF算法的基本思想是,根据数据点周围的数据密集情况,首先计算每个数据点的一个局部可达密度,然后通过局部可达密度进一步计算得到每个数据点的一个离群因子,该离群因子即标识了一个数据点的离群程度。LOF值越大,表示离群程度越高,LOF值越小,表示离群程度越低。
代码
wget http://www2.uaem.mx/r-mirror/src/contrib/DMwR_0.3.1.tar.gz
devtools::install_local('./software/DMwR_0.3.1.tar.gz')
DMwR::lofactor(data, k) # k为根据几个最近邻居计算
- 缺点:只能根据LOF的大小筛选前n个离群点,不好定cutoff
定性方法
3 sigma原则
如果任何数据点超过标准偏差的3倍,那么这些点很可能是异常值。
四分位间距(IQR)
四分位间距(IQR)是我们常画的boxplot中用于定义异常值,低于(Q1 - 1.5 * IQR)或高于(Q3+1.5 * IQR)的观测值定义为异常值。
参考
https://blog.csdn.net/weixin_36274103/article/details/112717897
https://zhuanlan.zhihu.com/p/385238291
https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h.htm