1.Hadoop （1）安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: ...
typedef long long ll; typedef unsigned long long ull; #define maxn 1005 struct My_Hash { ull base=131; ull p[maxn],ha[maxn]; void Insert(char s[]) { i ...
分类：
其他好文 时间：
2020-07-14 00:58:42
阅读次数：
62
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件 ...
分类：
其他好文 时间：
2020-07-13 13:17:45
阅读次数：
65
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
0 概述 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 1）. 克隆虚拟机 2）. 修改克隆虚拟机的静态IP 3）. 修改主机名 4）. ...
分类：
系统相关 时间：
2020-07-12 22:11:59
阅读次数：
88
1.SpringMVC核心流程图 简单总结： 首先请求进入DispatcherServlet 由DispatcherServlet 从HandlerMappings中提取对应的Handler，此时只是获取到了对应的Handle，然后得去寻找对应的适配器，即：HandlerAdapter，拿到对应Ha ...
分类：
编程语言 时间：
2020-07-12 12:36:36
阅读次数：
85
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hado ...
分类：
其他好文 时间：
2020-07-12 00:59:06
阅读次数：
92
System.AccessViolationException处理 程序出现 System.AccessViolationException异常会终止进程，try catch是无法捕捉的。 有个处理方法在引发异常的发放上面加上 [System.Runtime.ExceptionServices.Ha ...
分类：
数据库 时间：
2020-07-11 21:18:03
阅读次数：
67
