1.转化操作####
对一个数据{1,2,3,3}的RDD进行基本的RDD转化操作
(1)map() 将函数应用于RDD中的每个元素,将返回新的RDD
rdd.map(x => x+1) 返回{2,3,4,4 }
(2) flatMap() 将函数应用于RDD中的每个元素,将返回的迭代器
的所有元素构成的RDD。通常用于切分单词。
rdd.flatMap(x => x.to(3) ) 返回 {1,2,3,2,3,3,3}
(3) filter() 返回一个由通过传给filter()的函数的元素组成的RDD
rdd.filter( x => x != 1 ) 返回 {2,3,3}
(4) distinct() 去重
rdd.distinct() 返回 {1,2,3}
(5) sample(withRepalcement,fraction,[seed]) 对RDD采样 ,以及是
否替换。withRepalcement 是否为放回(不重复),fraction 为数量。
rdd.sample(false,0.5) 非确定的,产生一般的数据
对数据分别为{1,2,3}和{3,4,5} 的RDD 进行针对两个RDD的转化操作
(1) union() 生成 一个包含两个RDD 中所有元素的RDD
rdd.union(other) 结果:{1,2,3,3,4,5}
(2) intersection() 求两个RDD共同的元素
rdd.intersection(other) 结果: {3}
(3) substract() 移除一个RDD中的内容(例如移除训练数据)
rdd.substract(other) 结果{1,2}
(4) cartesian() 与另一个RDD的笛卡尔积
rdd.cartesian(other) 结果:{(1,3),(1,4),...}
2.行动操作####
对一个数据{1,2,3,3}的RDD进行基本的RDD行动操作
(1) collect() 返回RDD中的所有元素
rdd.collect() 结果:{1,2,3,3}
(2) count() RDD 中的元素个数
rdd.count() 结果: 4
(3) countByValue() 各结果在RDD中出现的次数
rdd.countByValue() 结果: {(1,1),(2,1),(3,2)}
(4) take(num) 从RDD中返回num个元素
rdd.take(2) 结果: {1,2}
(5) top(num) 从RDD中返回前面的num个元素
rdd.top(2) 结果: {3,3}
(6)* takeOrdered(num)(ordering) 从RDD中按照提供的顺序返回最前面的num个匀速
(7) takeSample(withReplacement,num,[seed]) 从RDD中返回任意一些元素
rdd.takeSample(false,1) 非确定的
(8) reduce(func) 并行整合RDD中的所有数据
rdd.fold(0)((x,y) => x+y) 9
(10) fold(zero)(func) 和reduce 一样,但是需要提供初始值
rdd.fold(0)((x,y) => x+y) 返回: 9
(11)* aggregate(zeroValue)(seq0p,comb0p) 和reduce 类似但是通常返回不同的数据
rdd.aggregate((0,0))
((x,y) => (x._1 + y,x._2 +1 ),(x,y) => (x._1 + y._1, x._2 + y._2))
结果: (9,4)
(12) foreach(func) 对RDD 中的每个元素使用给定的函数
rdd.foreach(func) 无
注意:aggregate 函数
第一个函数的作用是把RDD中的元素合并起来放入累加器
第二个函数的作用是:考虑到每个节点是在本地进行累加的,
最后还需要提供一个函数将两个累加器进行两两和合并