认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于 ...
分类：
其他好文 时间：
2020-10-29 10:11:31
阅读次数：
19
脚本开头 时间：2019.5.5 作者：qdw 功能简要描述： 功能详细描述： 其他： 代码注释 #代码解释 #小的注释 """比较多的注释""" 和 之间都是代码块 # ##########下面内容是什么############### 表示将文件进行切块， 包含多个代码块 命名规范 类：驼峰法 文 ...
分类：
其他好文 时间：
2020-06-30 13:11:27
阅读次数：
51
这类报表相对简单且规整，按照几个维度进行汇总，基于查询的数据进行切片、钻取等。多维分析的本质就是基于一个数据集进行过滤和分组汇总，写成 SQL 大概是这样：select sum(x1),count(x2),… from DS group by dim1,dim2,…，如果做切片和切块就再加上 whe ...
分类：
其他好文 时间：
2020-06-11 21:35:23
阅读次数：
50
管线命令 1、截取指令 1.1 cut # cut指的就是切块， 常用的有三个指令 # -d : 后面接分割字符 # -f ： 根据-d的分隔符，将一句话分成数段，用 -f取出第几段 # -c ： 以字符（characters）的单位取出固定字符区间 [dai@workPC ~]$ echo $PA ...
分类：
其他好文 时间：
2020-06-07 15:10:24
阅读次数：
83
首先说下容灾备份其实是两个不同的概念，容灾是指企业为了保证业务系统在遭受意外原因的情况下能保证原有的业务系统正常运转而在异地部署了一套与现有的业务系统一样的生产环境，保证业务的正常运转。随着企业规模的扩展，用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。异地容灾解决方案的出现则可通过在不同地点
分类：
其他好文 时间：
2020-05-21 09:56:52
阅读次数：
41
IT系统备份IT系统(OperatingSystem，简称OS)是管理计算机硬件与软件资源的计算机程序。IT系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。IT系统也提供一个让用户与系统交互的操作界面。IT系统装好后,为何还要备份?IT系统因磁盘损伤或损坏，计算机病毒或人为误删除等原因造成的系统文件丢失，从而造属成计算机IT系统不
分类：
其他好文 时间：
2020-05-18 18:39:47
阅读次数：
53
IT系统备份IT系统(OperatingSystem，简称OS)是管理计算机硬件与软件资源的计算机程序。IT系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。IT系统也提供一个让用户与系统交互的操作界面。IT系统装好后,为何还要备份?IT系统因磁盘损伤或损坏，计算机病毒或人为误删除等原因造成的系统文件丢失，从而造属成计算机IT系统不
分类：
其他好文 时间：
2020-05-18 14:09:59
阅读次数：
63
焖锅 肉类腌制（20分钟以上）：洗净切成小块，加入姜片、芝麻油半勺、白胡椒粉1、盐2和料酒10 蔬菜腌制：西芹60、红椒60、胡萝卜120、土豆120和洋葱100切块后加入油10、芝麻油1、盐2和白胡椒粉1搅拌均匀 糊化淀粉：红薯淀粉10和水80搅拌均匀，奶锅中小火熬拌至透明 酱汁制作： 酱香：碗中 ...
分类：
其他好文 时间：
2020-01-12 15:33:01
阅读次数：
104
对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常是计算分组统计或生成透视表。pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 ...
分类：
编程语言 时间：
2019-12-11 09:38:26
阅读次数：
97
pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应 ...
分类：
其他好文 时间：
2019-10-22 23:37:42
阅读次数：
109
