一、系统相关 cat /etc/redhat-release 查看系统版本uname -a 查看系统位数su - hadoop 切换系统账户source /etc/profile 重装配置文件 二、防火墙 firewall-cmd --add-port=3306/tcp 开放3306端口 https ...
分类：
系统相关 时间：
2020-07-14 18:00:46
阅读次数：
79
“安全模式”为高风险帐号提供专门的保护。当系统发现玩家帐号具有被盗特征，比如在中了木马或病毒的电脑上登录过，或本次登录不是玩家的常用登录地点，则系统默认该帐号为高风险帐号，使之进入安全模式。在安全模式下，账号的交易、丢弃、销毁物品等敏感操作将受到限制。 ...
分类：
其他好文 时间：
2020-07-14 13:48:41
阅读次数：
49
这个事情的背景是公司的Hadoop生态集群都是原生的，不是基于CDH的，所以基本所有的东西都需要自己手动管理，比如集群修改一些属性，然后批量分发重启或者动态生效之类的。这次也算不上事故，因为没对生产环境造成什么影响，但是差一点就变成事故，写出来分享一下。 事情简单概括就是，60+台hadoop的集群 ...
分类：
其他好文 时间：
2020-07-14 13:10:45
阅读次数：
72
1.Hadoop （1）安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: ...
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
在windows下安装的mysql服务，如果忘记密码，可以通过如下操作重新设置密码 解决办法 首先关闭mysql服务，在cmd下输入如下命令（需要在管理员命令下输入）： net stop mysql 然后用安全模式开启本地的mysql服务，在命令行下输入： mysqld --defaults-fil ...
分类：
数据库 时间：
2020-07-13 18:06:50
阅读次数：
98
hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件 ...
分类：
其他好文 时间：
2020-07-13 13:17:45
阅读次数：
65
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
0 概述 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 1）. 克隆虚拟机 2）. 修改克隆虚拟机的静态IP 3）. 修改主机名 4）. ...
分类：
系统相关 时间：
2020-07-12 22:11:59
阅读次数：
88
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
