频道栏目
神奇公式秒杀全国11选5 > 网络 > 云计算 > 正文

神奇公式秒杀全国11选5:Spark学习之DEA开发WordCount程序

2018-10-18 11:18:36           
收藏   我要投稿

神奇公式秒杀全国11选5 www.2zfa.com package demo

import org.apache.spark.{SparkConf, SparkContext}

object SparkDemo {

  def main(args: Array[String]): Unit = {
    //配置
    val sparkConf = new SparkConf()
    sparkConf.setAppName("sparkdemo").setMaster("local")
    //创建sc 对象
    val sc = new SparkContext(sparkConf)
    /*val rdd1 = sc.textFile("hdfs://192.168.163.11:9000/data/data.txt")
    val rdd2= rdd1.flatMap(_.split(" "))
    val rdd3 = rdd2.map((_,1))
    println(rdd3.collect())
    val rdd4 = rdd3.reduceByKey(_+_)
    rdd4.saveAsTextFile("hdfs://192.168.163.11:9000/spark/data/1012/1")
 */
    //使用sc 对象执行任务
    sc.textFile(args(0))
      .flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_+_)
      .saveAsTextFile(args(1))
    //停止任务
    sc.stop()

  }
}
然后 idea 打成jar文件(如有问题请查看 IDEA 输出jar)

运行程序:

[[email protected] spark-2.1.0-bin-hadoop2.7]# bin/spark-submit --master spark://BigData11:7077 --class demo.SparkDemo /root/tools/mysparkdemo.jar hdfs://192.168.163.11:9000/data/data.txt hdfs://192.168.163.11:9000/spark/1013
上一篇:Maceclipsehadoopplugin安装步骤流程
下一篇:Spark学习笔记之spark-submit+spark-shell-Aimmon
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 神奇公式秒杀全国11选5

版权所有: 神奇公式秒杀全国11选5--致力于做实用的IT技术学习网站