积累了小一个月，终于搞定了64位Ubuntu14.4中的Hadoop集群环境安装。虽然只能算是囫囵吞枣，但是基本完成了预期的目标，接下来要细细品味所有的细节了。...
分类：
其他好文 时间：
2014-05-15 02:58:17
阅读次数：
297
grep 命令是一个很常用的命令，主要的用法如下：
格式： grep [options]
^ 锚定行的开始
eg;
jiangjian@jiangjian-K42JZ:~/sh$ grep '^data' data2
data11,data12,data13
data21,data22,data23
data31,data32,data33
jiangjian@jiang...
分类：
其他好文 时间：
2014-05-15 01:43:05
阅读次数：
329
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中，TextInputFormat是默认的实现，当你想要一次获取一行内容作为输入数据时又没有确定的键，从TextInputFormat返回的键为每行的字节偏移量，但目前没看到用过
以前在mapper中曾使用LongWritable（键）和Text（值），在TextInputFormat中，因为键是字节偏移量，可以是L...
分类：
移动开发 时间：
2014-05-15 01:31:37
阅读次数：
454
1将测试机和开发机通过usb连接2通过命令查看usb连接情况Shell命令：lsusb会将当前usb连接情况展示出来:Shell代码:Bus008Device001:ID1d6b:0001LinuxFoundation1.1roothubBus007Device001:ID1d6b:0001LinuxFoundation1.1roothubBus003Device013:ID12d1:1038HuaweiTechnologiesCo..
分类：
系统相关 时间：
2014-05-15 01:06:50
阅读次数：
389
vShell的作用——命令解释器，“翻译官”§介于系统内核与用户之间，负责解释命令行v用户的登录Shell§登录后默认使用的Shell程序，一般为/bin/bash§不同Shell的内部指令、运行环境等会有所区别v执行脚本文件§方法一：脚本文件路径§方法二：sh脚本文件路径§方法三：source..
分类：
其他好文 时间：
2014-05-15 00:32:51
阅读次数：
393
本篇介绍MapReduce的一些高级特性，如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段，排序是MapReduce的核心技术，MapReduce也能够执行大型数据集间的“”连接（join）操作。...
分类：
其他好文 时间：
2014-05-14 23:53:44
阅读次数：
553
注入：之所以鸡肋就是该漏洞利用安装文件 重新生成 配置文件 写入可执行代码鸡肋1： 具有破坏性
动作非常大 重新写了配置文件 数据库连接文件鸡肋2： 有一定安全常识的站长都会删掉 install 目录虽然鸡肋 但也有优点 ： 不受
magic_quotes_gpc 、 webserver 影响
分类：
Web程序 时间：
2014-05-14 22:39:18
阅读次数：
600
hive执行query语句时提示错误：org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:...
分类：
编程语言 时间：
2014-05-14 21:49:08
阅读次数：
378
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理，
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始，
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类：
其他好文 时间：
2014-05-14 20:23:57
阅读次数：
519
近来多次和百度、阿里、腾讯、中移动数据中心的架构师进行交流，同时也在网上的论坛/社区主导大数据分析范例的一些讨论，与互联网/云开发人员进行沟通。由此，我愉快地发现，大数据分析在中国非常普遍：不光是星巴克、纸牌屋等美国文化元素在中国广受追捧；Hadoop也受到广泛接纳，并且在中国的云开发人员的讨论中占据了主导地位。...
分类：
其他好文 时间：
2014-05-14 19:37:49
阅读次数：
255
