hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
我们可以设置集群的平衡参数来暂时禁用掉平衡，具体步骤如下： 1.如果可能的话，先暂停掉数据新增和更新操作，这样会提高集群恢复的时间； 2.禁用集群分片平衡操作，直到告诉集群可以恢复平衡操作为止，禁用配置方式： PUT /_cluster/settings { "transient" : { "clu ...
分类：
其他好文 时间：
2021-06-02 12:58:20
阅读次数：
0
sklearn.base 基础类 & 工具类 sklearn.calibration 概率 sklearn.cluster 聚类 sklearn.compose 复合 sklearn.covariance 协方差 sklearn.cross_decomposition 交叉分解 sklearn.da ...
超过最大分片引起的，在es机器上执行：curl -XPUT -H "Content-Type:application/json" -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://es-host:9200/_c ...
分类：
其他好文 时间：
2021-05-25 17:41:51
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
前提条件是要设置secure_file_priv,该参数是需要重启实例的 mysql> show variables like '%secure%';+ + +| Variable_name | Value |+ + +| require_secure_transport | OFF || secu ...
分类：
数据库 时间：
2021-05-24 17:05:50
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
方案一：手动拷贝需要的相关jar包 flume对接HBASE报错，找不到相关的类： 报错hbase相关日志： 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类：
Web程序 时间：
2021-05-24 15:18:47
阅读次数：
0
日志管理 在 /var/log lastlog 命令查看用户最后一次登录情况 案例 cat secure 查看登录的安全信息 时间 主机名 事件或服务或程序 事件信息描述 日志管理服务 rsyslogd ps -aux | grep rsyslogd | -v grep (-v反向匹配，) syst ...
分类：
系统相关 时间：
2021-05-24 13:40:41
阅读次数：
0
