• 西安市:构建“五方联动”社会治理新格局 2019-06-23
  • IP定向--云南频道--人民网 2019-06-23
  • 育儿十大坎 新手妈妈快快get起来 2019-06-21
  • 吉林:让更多农村孩子参加少年宫活动 2019-06-21
  • 美国发起贸易战,我们要让世界知道美元、美债并不可靠 2019-06-05
  • 紫光阁中共中央国家机关工作委员会 2019-05-31
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-05-12
  • 媒体宣传报道重庆日报 王国平:扮靓重庆两江四岸” 让城市有机更新 2019-04-26
  • 我相信“交警雨中护送高考生”是真,“交警雨中护送高考生”反被该高考生家长投诉是假。 2019-04-16
  • 14名消防员日巡逻28公里 洗冷水澡 2019-04-10
  • 靶壕有了“蓝军”,百发百中的“神枪手”练起来 2019-04-10
  • 不是秀强大了,别人就会来做朋友,这逻辑不对 2019-04-01
  • 候选企业:中国石油呼和浩特石化公司 2019-03-26
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-03-25
  • 请问,建立市场经济后,原计划经济哪里去?改革后,我们还在实行计划经济,为何没有提及? 2019-03-25
  • 频道栏目
    神奇公式秒杀全国11选5 > 网络 > 云计算 > 正文

    时时彩一天赚200元方法:MapReduce计数器原理

    2018-10-18 11:18:36           
    收藏   我要投稿

    计数器输出

    神奇公式秒杀全国11选5 www.2zfa.com 运行完毕作业之后的计数器输出

    \

    \

    内置计数器
    hadoop为每个作业提供了若干内置计数器,用以描述各项指标。

    文件系统计数器
    所属类:org.apache.hadoop.mapreduce.FileSystemCounter

    BYTES_READ:文件系统读取的字节数

    BYTES_WRITTEN:文件系统写的字节数

    FileInputFormat任务计数器
    所属类:org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

    BYTES_READ:map任务通过FileInputFormat读取的字节数

    FileOutputFormat任务计数器
    BYTES_WRITTEN:由map任务或者reduce任务通过FileOutputFormat写的字节数

    作业计数器
    所属类:org.apache.hadoop.mapreduce.JobCounter

    TOTAL_LAUNCHED_MAPS:启动的map任务数(推测执行启动的任务,以下也是)

    TOTAL_LAUNCHED_REDUCES:启动的reduce任务数

    TOTAL_LAUNCHED_UBERTASKS:启动的uber任务数

    NUM_UBER_SUBMAPS:uber任务中的map任务数

    NUM_UBER_SUBREDUCES:uber中reduce任务数

    NUM_FAILED_MAPS:失败的map数

    NUM_FAILED_REDUCES:失败的reduce数

    NUM_FAILED_UBERTASKS:失败的uber任务数

    DATA_LOCAL_MAPS:数据本地化的map数,即与输入数据在同一节点的map数

    RACK_LOCAL_MAPS:与输入数据在同一机架上的map数,但不在同一节点

    OTHER_LOCAL_MAPS:与输入数据不在同一机架上的map数

    SLOTS_MILLIS_MAPS:map任务运行的总时间

    SLOTS_MILLIS_REDUCES:reduce任务运行的总时间

    MapReduce任务计数器
    MAP_INPUT_REDORDS:map输入的记录数

    MAP_SKIPPED_RECORDS:map跳过的记录数

    MAP_INPUT_BYTES:map输入的字节数

    SPLIT_RAW_BYTES:分片的原始字节数

    MAP_OUTPUT_RECORDS:map输出的记录数

    MAP_OUTPUT_BYTES:map输出的字节数

    MAP_OUTPUT_MATERIALIZED_BYTES:map输出后写到磁盘上的字节数

    COMBINER_INPUT_RECORDS:作业中combiner已经处理输入的记录数

    COMBINER_OUPUT_REDORDS:作业中combiner已产生输出的记录数

    REDUCE_INPUT_GROUPS:reduce输入的组,即每当reduce()被调用

    REDUCE_INPUT_RECORDS:作业中reduce已经处理的输入记录个数

    REDUCE_OUTPUT_RECORDS:reduce输出的记录数

    REDUCE_SKIPPED_RECORDS:reduce跳过的组数

    REDUCE_SHUFFLER_BYTES:shuffle中将map输出数据复制到reduce中的字节数

    SPILLED_RECORDS:作业中map和reduce任务溢出到磁盘的记录数

    CPU_MILLISECONDS:总计的cpu时间

    PHYSICAL_MEMORY_BYTES:一个任务所用的物理内存字节数

    VIRTUAL_MEMORY_BYTES:一个任务所使用的虚拟内存字节数

    COMMITTED_HEAP_BYTES:JVM中总有效内存量

    GC_TIME_MILLIS:GC运行时间毫秒数

    SHUFFLED_MAPS:由shuffle传输的map数

    FAILED_SHUFFLE:失败的shuffle数

    MERGED_MAP_OUTPUTS:被合并的map输出数

    自定义计数器
    自定义计数器,计数器的值可以在mapper或reducer中增加,计数器由一个Java枚举(enum)类型定义
    ?

    	enum Temperature{
    		MISSING,
    		TOTAL
    	}
    

    在map或者reduce中使用计数器

    context.getCounter(Temperature.TOTAL).increment(1);

    获取计数器

    		Counters counters = job.getCounters();
    		long total = counters.findCounter(MaxTemperature.Temperature.TOTAL).getValue();//获取自定义计数器
    		long mpas = counters.findCounter(TaskCounter.MAP_INPUT_RECORDS).getValue();	//获取内置计数器
    

    ?

    ?

    ?

    上一篇:python的matplotlib库个人总结
    下一篇:遗传算法的一些个人看法
    相关文章
    图文推荐

    关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 神奇公式秒杀全国11选5

    版权所有: 神奇公式秒杀全国11选5--致力于做实用的IT技术学习网站

  • 西安市:构建“五方联动”社会治理新格局 2019-06-23
  • IP定向--云南频道--人民网 2019-06-23
  • 育儿十大坎 新手妈妈快快get起来 2019-06-21
  • 吉林:让更多农村孩子参加少年宫活动 2019-06-21
  • 美国发起贸易战,我们要让世界知道美元、美债并不可靠 2019-06-05
  • 紫光阁中共中央国家机关工作委员会 2019-05-31
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-05-12
  • 媒体宣传报道重庆日报 王国平:扮靓重庆两江四岸” 让城市有机更新 2019-04-26
  • 我相信“交警雨中护送高考生”是真,“交警雨中护送高考生”反被该高考生家长投诉是假。 2019-04-16
  • 14名消防员日巡逻28公里 洗冷水澡 2019-04-10
  • 靶壕有了“蓝军”,百发百中的“神枪手”练起来 2019-04-10
  • 不是秀强大了,别人就会来做朋友,这逻辑不对 2019-04-01
  • 候选企业:中国石油呼和浩特石化公司 2019-03-26
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-03-25
  • 请问,建立市场经济后,原计划经济哪里去?改革后,我们还在实行计划经济,为何没有提及? 2019-03-25
  • 甘肃十一选五前三基本走势图百度彩票 百度七乐彩走势大赢家 幸运农场开奖结果走势 lh彩特码资料 辽宁11选5赠策 海南飞鱼中奖号码 南粤风彩26选5开奖查询 海南飞鱼体彩手机版 pk10/ 吉林新快3开奖360 河北排列7开奖时间 大乐透走势图表近300 2019足球 青海十一选五开奖视频 竟彩足球比分直播现场彩客网