子曰：君子食无求饱，居无求安，敏于事而慎于言，就有道而正焉，可谓好学也已。 译文：君子吃不求太饱，住不求太舒适，做事勤快，说话谨慎，向道德高的人学习，并能改正自己的缺点，这样就可以称得上好学了。 最近要把CDH的版本换成了5.3.0，hive的版本从0.12换成了0.13，升级完成后...
分类：
其他好文 时间：
2015-01-08 14:38:34
阅读次数：
427
离线安装ClouderaManager5.3关于CDH和ClouderaManagerCDH(Cloudera‘sDistribution,includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境（本次项目环境使用了4个节点的CDH5.1.3版本）。C..
分类：
其他好文 时间：
2015-01-08 07:07:05
阅读次数：
454
正在准备做Spark SQL external data source与关系型数据库交互的部分，参考下Sqoop2是如何操作关系型数据库的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/下载并安装：cd /home/spark/app/wget http:/...
分类：
其他好文 时间：
2015-01-07 18:19:09
阅读次数：
373
近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig..
分类：
Web程序 时间：
2014-12-31 16:32:54
阅读次数：
217
近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，散仙本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）散仙一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间，也是边实战边学习，这样以来，对pig的学习，会更加容...
分类：
Web程序 时间：
2014-12-31 14:23:46
阅读次数：
300
今天是圣诞节，2014年马上要过去了。回顾这一年在大数据研发上的点点滴滴，总结如下三个方面：
一、大数据研发技术路线
目前，存在太多的大数据技术，商业软件，如Teradata、Oracle、SAP、IBM等。开源的，如Hadoop、Spark、MPP DB、NewSQL等。在大数据领域，Hadoop呈一支独大势。经过这段时间的学习和了解，发现Hadoop技术复杂，架构复杂，社区版成熟度可能也就80%左右。要想把Hadoop玩转起来，可能需要投入巨大的成本来完善。Cloudera的
CDH也仅...
分类：
其他好文 时间：
2014-12-25 11:25:53
阅读次数：
719
UpgradeClouderaManager5.2.1to5.3.01.StoptheClouderaManagementService2.StoptheHiveserviceandallservicessuchasImpalaandHuethatusetheHivemetastore.3.
BackupMySQLDatabases(mysqldump-uroot-p--single-transaction
--flush-logs--master-data=2--delete-master-logs--al..
分类：
其他好文 时间：
2014-12-23 17:40:24
阅读次数：
160
文章来自：http://www.cnblogs.com/hark0623/p/4177794.html 转载请注明其实问题很简单，因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名，而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700...
分类：
Web程序 时间：
2014-12-22 12:51:14
阅读次数：
743
文章来自：http://www.cnblogs.com/hark0623/p/4174646.html 转发请注明在CDH中用了几天flume后才发现，原来CDH中的flume默认是启动的…………我还自己去启动flume呢。。怪不得监听端口时告诉我端口已被占用了呢。
分类：
Web程序 时间：
2014-12-19 20:40:43
阅读次数：
170
文章来自http://www.cnblogs.com/hark0623/p/4174641.html 转发请注明有时候执行表联查的时候总会出现没有权限写文件的情况。这个时候使用sudo -H hive hive -e "select * from tbl1 join tbl2 on tbl1.fie...
分类：
其他好文 时间：
2014-12-19 20:36:08
阅读次数：
211
