个推运维平台高级网络工程师山川随着互联网公司规模的扩大，企业对成本控制和数据安全的需求越来越高，大部分公司往往会自建机房，而非租用云服务器。个推在互联网数据中心（InternetDataCenter，简称IDC）网络规划和运营方面也经历了几次的迭代和变迁，同时，我们也对数据中心网络发展的历程进行了总结。我们将围绕IDC网络运营规划的基本要求、传统PC时代的网络架构、移动互联网和大数据时代的IDC网
分类：
其他好文 时间：
2020-10-09 21:23:35
阅读次数：
21
hadoop安装 1. 安装jdk a.复制jdk-xx.tar.gz 到~Downloads b.解压 c. 移动到/soft ； 创建软连接ln -s /soft/jdk-xxx jdk d.配置环境变量 [/etc/enviroment] JAVA_HOME=/soft/jdk PATH=". ...
分类：
其他好文 时间：
2020-10-09 21:22:17
阅读次数：
27
<repositories> <repository> <id>hadoop</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository> <dependency> <groupId> ...
分类：
其他好文 时间：
2020-10-08 19:30:36
阅读次数：
21
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码
分类：
其他好文 时间：
2020-10-08 18:37:04
阅读次数：
25
大数据是指无法在一定时间范围内用常规软件工具进行处理和分析的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能的海量、高增长率和多样性的信息资产
分类：
其他好文 时间：
2020-10-08 18:36:53
阅读次数：
17
1、Sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --num-mappers \ --fields-ter ...
分类：
其他好文 时间：
2020-10-06 21:17:18
阅读次数：
41
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
集群分发脚本xsync在/usr/local/bin目录下，创建xsync文件[root@yh-hadoop101bin]#pwd/usr/local/bin[root@yh-hadoop101bin]#chmod777xsync[root@yh-hadoop101bin]#lltotal4-rwxr-xr-x1rootroot487Sep2913:58xsync[root@yh-hadoop10
分类：
其他好文 时间：
2020-10-05 21:32:21
阅读次数：
19
在数据管理领域，我们一直致力于让数据为我们提供价值，为此我们付出大量的努力和投入。在过去二十年，各大企业都在着手搭建数据仓库。当我们费尽艰辛搭建好数据仓库并成功用于线上运行时，发现我们将花费更多时间为数据科学家、分析师做数据准备。分析他们的数据需求，提供闪闪发光的数据报表。这将占用数据维护人员80%的时间投入，这个投入是偏高的，包含如沟通、反查、校正等大量重复和不必要投入。如何提升数据管理能力？我
分类：
其他好文 时间：
2020-09-23 23:53:26
阅读次数：
38
