mapPartitions是map的一个变种。map的输入函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区，也就是把每个分区中的内容作为整体来处理。
定义：def mapPartitions[U: ClassTag](f: Iterator[T] => Iterator[U], preservesPartitioning: Boolean = false): RDD[U]
灌入Tair Demo
object DataHandler {
def saveData(data:RDD[(String, String)], partitionNum:Int, qps:Double, area:Short) = {
data.repartition(partitionNum).mapPartitions{
partition =>
val client = TairClient.getClient()
val rateLimiter = RateLimiter.create(qps)
partition.map {
case (key, value) =>
rateLimiter.acquire()
client.putData((key, value), area)
}
}
}
}
- 如果在映射的过程中要频繁创建大对象（如数据库、Tair连接等），使用mapPartitions要比map高效的多。
- 使用RateLimiter可以达到限流作用，流量为partitionNum* qps
