背景:昨晚11点40几分,终于各个集群组件都启动成功了,然后心满意足的去睡觉了,但是今早再起来再去启动的时候就出现了namenode的问题,然后就开始了查找原因的艰辛历程。 查看报错的log日志: 2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs ...
分类:
移动开发 时间:
2019-04-07 14:22:50
阅读次数:
248
原因是因为你的hadoop.tmp.dir在/tmp目录下,而linux系统的/tmp文件夹内容能够是定时清理的,所以会导致你看hadoop使用不了了,就反复的格式化namenode会导致上述问题,也有可能是datanode长期没正常启动导致;找了一下资料,有三个解决方案:解決方法一:删除 data ...
分类:
其他好文 时间:
2019-03-25 10:55:25
阅读次数:
211
题目:Integrated Metabolomics and Lipidomics Analyses Reveal Metabolic Reprogramming in Human Glioma with IDH1 Mutation 期刊:Journal of Proteome Research 发 ...
分类:
Web程序 时间:
2019-03-25 00:41:52
阅读次数:
245
今天碰到几个问题: 1、 Failed to start LSB Bring up/down 归结一下 百度 的答案: 1)、 90% 修改MAC 地址 2)、10% 重启 networkmanager 很可惜 以上的答案 都不能解决我的问题: 最后 还是按照提示 ,老老实实的 查看了 日志 # j ...
分类:
其他好文 时间:
2019-03-08 15:20:26
阅读次数:
236
摘自:https://www.cnblogs.com/qingyunzong/p/9004703.html 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可 ...
分类:
其他好文 时间:
2019-03-05 23:03:14
阅读次数:
225
mongodb分片 一般用得比较少,需要较多服务器,还有三种的角色。 一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb副本集。 mongodb分片技术 mongodb副本集可以解决数据备份,读性能的问题,但由于mongodb副本集是每份数据都是一模一样的,无法解决数据量过大的 ...
分类:
数据库 时间:
2019-02-17 10:34:05
阅读次数:
183
一、Mongodb导出工具mongoexport Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。mongoexport具体用法 参数说明-h:指明数据库宿主机的IP-u:指明 ...
分类:
数据库 时间:
2019-02-03 14:22:26
阅读次数:
276
一、环境及软件准备 1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15 ambari server 是 否 否 否 否 ambari agent 是 是 是 是 是 namenode 是 ...
分类:
其他好文 时间:
2019-01-31 18:18:39
阅读次数:
513
源自:https://blog.csdn.net/programvae/article/details/80292076 最近碰巧要使用键盘钩子,于是在网上搜索了一番,发现大多数博客的文章都是雷同的,根本就没有讲清楚全局钩子和局部钩子的区别,于是特开一贴,讲全局钩子和局部钩子捋一捋。也供后面的人学习 ...