• 机构投资者应合理审慎报价 2019-07-16
  • “2018上影之夜”姜文等为“谢晋经典电影回顾展”揭幕 2019-07-10
  • 交大钱学森学院举行毕业典礼 14毕业生赴世界排名前百大学读研 2019-07-10
  • 西安市:构建“五方联动”社会治理新格局 2019-06-23
  • IP定向--云南频道--人民网 2019-06-23
  • 育儿十大坎 新手妈妈快快get起来 2019-06-21
  • 吉林:让更多农村孩子参加少年宫活动 2019-06-21
  • 美国发起贸易战,我们要让世界知道美元、美债并不可靠 2019-06-05
  • 紫光阁中共中央国家机关工作委员会 2019-05-31
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-05-12
  • 媒体宣传报道重庆日报 王国平:扮靓重庆两江四岸” 让城市有机更新 2019-04-26
  • 我相信“交警雨中护送高考生”是真,“交警雨中护送高考生”反被该高考生家长投诉是假。 2019-04-16
  • 14名消防员日巡逻28公里 洗冷水澡 2019-04-10
  • 靶壕有了“蓝军”,百发百中的“神枪手”练起来 2019-04-10
  • 不是秀强大了,别人就会来做朋友,这逻辑不对 2019-04-01
  • 频道栏目
    神奇公式秒杀全国11选5 > 网络 > 云计算 > 正文

    山西11选5:Spark学习之DEA开发WordCount程序

    2018-10-18 11:18:36           
    收藏   我要投稿

    神奇公式秒杀全国11选5 www.2zfa.com package demo

    import org.apache.spark.{SparkConf, SparkContext}
    
    object SparkDemo {
    
      def main(args: Array[String]): Unit = {
        //配置
        val sparkConf = new SparkConf()
        sparkConf.setAppName("sparkdemo").setMaster("local")
        //创建sc 对象
        val sc = new SparkContext(sparkConf)
        /*val rdd1 = sc.textFile("hdfs://192.168.163.11:9000/data/data.txt")
        val rdd2= rdd1.flatMap(_.split(" "))
        val rdd3 = rdd2.map((_,1))
        println(rdd3.collect())
        val rdd4 = rdd3.reduceByKey(_+_)
        rdd4.saveAsTextFile("hdfs://192.168.163.11:9000/spark/data/1012/1")
     */
        //使用sc 对象执行任务
        sc.textFile(args(0))
          .flatMap(_.split(" "))
          .map((_,1))
          .reduceByKey(_+_)
          .saveAsTextFile(args(1))
        //停止任务
        sc.stop()
    
      }
    }
    然后 idea 打成jar文件(如有问题请查看 IDEA 输出jar)

    运行程序:

    [[email protected] spark-2.1.0-bin-hadoop2.7]# bin/spark-submit --master spark://BigData11:7077 --class demo.SparkDemo /root/tools/mysparkdemo.jar hdfs://192.168.163.11:9000/data/data.txt hdfs://192.168.163.11:9000/spark/1013
    上一篇:Maceclipsehadoopplugin安装步骤流程
    下一篇:Spark学习笔记之spark-submit+spark-shell-Aimmon
    相关文章
    图文推荐

    关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 神奇公式秒杀全国11选5

    版权所有: 神奇公式秒杀全国11选5--致力于做实用的IT技术学习网站

  • 机构投资者应合理审慎报价 2019-07-16
  • “2018上影之夜”姜文等为“谢晋经典电影回顾展”揭幕 2019-07-10
  • 交大钱学森学院举行毕业典礼 14毕业生赴世界排名前百大学读研 2019-07-10
  • 西安市:构建“五方联动”社会治理新格局 2019-06-23
  • IP定向--云南频道--人民网 2019-06-23
  • 育儿十大坎 新手妈妈快快get起来 2019-06-21
  • 吉林:让更多农村孩子参加少年宫活动 2019-06-21
  • 美国发起贸易战,我们要让世界知道美元、美债并不可靠 2019-06-05
  • 紫光阁中共中央国家机关工作委员会 2019-05-31
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-05-12
  • 媒体宣传报道重庆日报 王国平:扮靓重庆两江四岸” 让城市有机更新 2019-04-26
  • 我相信“交警雨中护送高考生”是真,“交警雨中护送高考生”反被该高考生家长投诉是假。 2019-04-16
  • 14名消防员日巡逻28公里 洗冷水澡 2019-04-10
  • 靶壕有了“蓝军”,百发百中的“神枪手”练起来 2019-04-10
  • 不是秀强大了,别人就会来做朋友,这逻辑不对 2019-04-01
  • 澳洲幸运10走势图 福彩3d过滤缩水工具 华体nba比分直播羽毛球 北京彩票玩法 吉林十一选五遗漏一定牛 四川彩票官网 张稀哲德甲 11选5怎么玩才能赚钱最真实的经历 北京pk10彩票走势图 向月樵娱乐场所 曾道人图 6场半全场中奖条件 上海双色球基本走势图 三肖中特三五八是什么生肖 中彩网3d