7.2 流量汇总程序案例 7.2.1 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 1）需求： 统计每一个手机号耗费的总上行流量、下行流量、总流量 2）数据准备 phone_date.txt 输入数据格式： 输出数据格式 3）分析 基本思路： Map阶段： （1）读取一行数据，切分 ...
分类：
其他好文 时间：
2018-07-03 00:58:51
阅读次数：
191
7.9 找博客共同好友案例 1）需求： 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E ...
分类：
其他好文 时间：
2018-07-02 23:00:41
阅读次数：
235
7.10 压缩/解压缩案例 7.10.1 对数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionO ...
分类：
其他好文 时间：
2018-07-02 22:59:25
阅读次数：
216
7.7 日志清洗案例 7.7.1 简单解析版 1）需求： 去除日志中字段长度小于等于11的日志。 2）输入数据 3）实现代码： （1）编写LogMapper （2）编写LogDriver 7.7.2 复杂解析版 1）需求： 对web访问日志中的各字段识别切分 去除日志中不合法的记录 根据统计需求，生 ...
分类：
其他好文 时间：
2018-07-02 22:06:43
阅读次数：
458
由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，难以三言两语说清楚，本文从数据科学和大数据关键技术体系角度，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。推荐一个大数据学习群 119599574晚上20:10都有 ...
分类：
其他好文 时间：
2018-06-29 13:56:50
阅读次数：
289
在CDH5.14.2中安装Phoenix与使用标签（空格分隔）：大数据平台构建一：安装及配置Phoenix二：Phoenix的基本操作三：使用Phoenixbulkload数据到HBase四：使用Phoenix从HBase中导出数据到HDFS一：安装及配置Phoenix1.0：phoienx的介绍Phoenix中文翻译为凤凰,其最早是Salesforce的一个开源项目，Salesforce背景是一
分类：
其他好文 时间：
2018-06-10 21:35:17
阅读次数：
1509
今年3月，教育部公布了2017年度高校本科专业备案和审批结果，全国新增备案本科专业2105个，其中“数据科学与大数据技术”最为热门，共有250所高校新设该专业。 除了大数据，2017年新增“机器人工程”专业的学校有近60所。业内预计，到2020年，中国人工智能产业规模将超过1500亿元，带动相关产业 ...
分类：
其他好文 时间：
2018-06-07 15:35:08
阅读次数：
119
做智慧停车方案的很多，但能够做智慧停车云平台的就明显的比较少了，之所以少的原因也很简单，技术难度比较大！这里分享一个大快的城市智慧停车云平台解决方案的体系与架构。 ...
分类：
其他好文 时间：
2018-05-25 13:58:12
阅读次数：
164
https://www.cnblogs.com/xing901022/p/6195422.html "介绍知识点" [大数据技术原理与应用视频 ](http://www.icourse163.org/learn/XMU 1002335004?tid=1002787005 /learn/content ...
分类：
其他好文 时间：
2018-05-22 12:41:50
阅读次数：
175
从事近十年的 JavaEE 应用开发工作，现任阿里巴巴公司系统架构师。对分布式服务架构与大数据技术有深入研究，具有丰富的 B/S 架构开发经验与项目实战经验，擅长敏捷开发模式。国内开源软件推动者之一，Smart Framework 开源框架创始人。热爱技术交流，乐于分享自己的工作经验。著有《架构探险 ...
分类：
编程语言 时间：
2018-05-21 12:33:33
阅读次数：
221
