package bdqn.sparkdemp.day0309
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.deploy.master
object WordCount extends App {
if (args.length != 3) {
println("需要三个参数:1、spark的集群地址,2、要读取的文件地址,3、数据存储地址")
sys.exit(1)
}
val conf = new SparkConf()
.setMaster(args(0))
.setAppName(WordCount.getClass.getSimpleName)
val sc = new SparkContext(conf)
val rdd: RDD[String] = sc.textFile(args(1))
rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile(args(2))
sc.stop()
}
2020-03-09
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- If you love somebody, let them go, for if they return, th...