Hadoop集群完全分布式配置部署 下面的部署步骤，除非说明是在哪个服务器上操作，否则默认为在所有服务器上都要操作。为了方便，使用root用户。 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息： hostname IP mask gateway DNS 备注 master ...
分类：
其他好文 时间：
2018-06-20 00:54:11
阅读次数：
249
1. MapReduce使用 MapReduce是Hadoop中的分布式运算编程框架，只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现 一个强大的海量数据并发处理程序 2. 运行Hadoop自带的MapReduce程序（word count单词统计功能） 1.在HDFS中创建层级目录，并且上 ...
分类：
其他好文 时间：
2018-06-16 11:56:36
阅读次数：
154
Storm笔记整理（二）：Storm本地开发案例—总和计算与单词统计
分类：
其他好文 时间：
2018-04-12 22:30:27
阅读次数：
175
1 import java.io.BufferedReader; 2 import java.io.File; 3 import java.io.FileNotFoundException; 4 import java.io.FileReader; 5 import java.io.IOExcept... ...
分类：
其他好文 时间：
2018-03-30 23:15:23
阅读次数：
329
今天共用了3个小时左右纠正top10单词的词典格式，在我自己编写的测试中是可以输出正确地大小写的，但是跑测试文件时候，大小写又不一致了。 是正确的。 但是助教测试文件 为什么。。。。。感觉爆炸，决定先睡一觉。 30min 不行就对单词统计方法部分完全进行更改，因为耦合度较低，应该代价不会太大。 ...
分类：
其他好文 时间：
2018-03-28 01:29:21
阅读次数：
185
一、简介Linuxwc命令用来统计文件的行，字数的，是一个外部命令。语法：wc[option]二、常用选项-l：统计文件总共有多少行-L：统计最长行的字数-w：统计文件有多少个单词-c：统计文件有多少个字节--help：在线帮助。--version：显示版本信息。#wc/etc/named.conf461241102/etc/named.conf共46行，124个单词，1102字节#wc-L/et
分类：
系统相关 时间：
2018-03-22 11:29:19
阅读次数：
232
一： 哈希概念 是一种数据结构，可容纳很多值，并能随机存取；由关键字与索引值构成<key,value>； key值是唯一的 二： 应用场景： 根据主机名找对应的IP地址， 根据IP地址找主机名， 按单词统计出现的次数， 按驾照号码找出对应的姓名 .................... 三： 哈希的 ...
分类：
其他好文 时间：
2018-03-18 15:00:21
阅读次数：
147
一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf，使用sysctl -p命令即时生效。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 kernel.shmmax = 500000000 kernel. ...
分类：
其他好文 时间：
2018-02-24 16:45:32
阅读次数：
326
Storm的单词统计设计 一：Storm的wordCount和Hadoop的wordCount实例对比 二：Storm的wordCount的方案实例设计 三：建立maven项目，添加maven相关依赖包(1)输入：search.maven.org网址，在其中找到storm的核心依赖(2)将核心依赖添 ...
分类：
其他好文 时间：
2018-02-11 12:35:02
阅读次数：
112
