1.workcount 2.将数据写到redis 开启redis bin/redis-server etc/redis.conf 查看端口 ps -ef|grep redis ...
分类:
其他好文 时间:
2019-07-01 13:58:53
阅读次数:
125
在阅读Java线程池ThreadPoolExecutor源码的时候,发现它很巧妙地把线程池状态runState和线程数workCount两个变量存放在了一个int型变量里面。 我们先看一个数值,如下是一个32位int的二进制: 1)高位第一位表示符号,0是正数,1是负数 2)高位第二位和第三位表示r ...
分类:
其他好文 时间:
2019-05-29 23:27:13
阅读次数:
141
在 Linux搭建集群 JDK配置 Linux搭建集群 SSH免密登陆 Linux搭建集群 集群搭建成功 的基础上实现workcount案例 注意 虚拟机三台启动集群(自己亲自搭建) 1. wordcount程序 1.1Hadoop集群测试WordCount程序 1.1.1 在hadoop目录下创建 ...
分类:
系统相关 时间:
2018-12-08 17:04:30
阅读次数:
305
Gitee代码链接:https://gitee.com/hyr5201314/workcount 1.解题思路 首先要先读取文件,然后调用函数实现返回文件的字符数,行数,单词总数。用的是c#来做。 主要实现的功能: wc.exe -c Mrhu.txt //返回文件 Mrhu.txt 的字符数 wc ...
TelephonyManager是一个管理手机通话状态、电话网络信息的服务类。该类提供了大量的getXxx(),方法获取电话网络的相关信息。 TelephonyManager类概述: 可用于訪问有关设备上的电话服务信息。应用程序能够使用这个类的方法来确定电话服务和状态,以及訪问某些类型的用户信息。应 ...
分类:
移动开发 时间:
2017-08-15 18:51:07
阅读次数:
265
Consumer代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.a ...
分类:
其他好文 时间:
2017-03-30 17:02:50
阅读次数:
319
Oozie 官方示例 自定义实现workcount的workflow 自定义shell的workflow 复杂DAG图设计(其实也就是顺序,并发执行多个job) coordinator的编写 ...
分类:
其他好文 时间:
2016-11-24 15:18:09
阅读次数:
292
使用idea+maven构建spark的开发环境,遇到一点小坑,所幸最后顺利完成,使用maven管理项目还是十分必要的~~~ 1. 新建maven项目,选择scala类的项目,如图,并next 2. 填写groupID,artifactid,projectName,继续next,一路next,并填写 ...
分类:
其他好文 时间:
2016-10-26 22:37:25
阅读次数:
672
前提条件 1.CDH安装spark服务 2.下载IntelliJ IDEA编写WorkCount程序 3.上传到spark集群执行 一.下载IntellJ IDEA编写Java程序 1.下载IDEA 官网地址:http://www.jetbrains.com/idea/ 下载IntlliJ IDEA ...
分类:
其他好文 时间:
2016-05-20 19:21:44
阅读次数:
663