大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集 ...
分类：
其他好文 时间：
2019-04-23 15:39:37
阅读次数：
163
1.大数据技术与跨境电子商务综述 (1)大数据技术。大数据量，是指数据量极大，不能使用传统的数据采集方法、传统的数据库、传统的研究方法对数据集进行分析。传统的数据分析往往采用样本，采用推理的方法，用常规的样本分析来推测总体数据，通过一小部分来看整个数据，延伸到普遍的意义。然而，大数据可以在他所记录的 ...
分类：
其他好文 时间：
2019-04-22 17:56:52
阅读次数：
526
二十、数据分析20.1、统计表20.2、目标20.3、代码实现20.3.1、Mapper20.3.2、Reducer20.3.3、Runner20.3.4、测试二十一、Hive 之 hourly 分析21.1、目标21.2、目标解析21.3、创建 Mysql 结果表21.4、Hive 分析21.4. ...
分类：
Web程序 时间：
2019-04-17 23:28:47
阅读次数：
336
本章内容我们学习一下 MapReduce 中的 Shuffle 过程，Shuffle 发生在 map 输出到 reduce 输入的过程，它的中文解释是 “洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：1. map 任务输出的数据分组、排序，写入本地磁盘 2. reduce 任务拉取排序。 ...
分类：
其他好文 时间：
2019-04-16 14:39:28
阅读次数：
156
十一、Nginx11.1、介绍11.2、常见其他 Web 服务器11.3、版本11.4、Nginx 安装11.5、目录结构11.6、操作命令十二、Mysql12.1、介绍12.2、关系型数据库(SQL)种类12.3、特征12.4、术语12.4、与非关系型数据库比较(Not Only SQL)12.4 ...
分类：
数据库 时间：
2019-04-15 20:11:41
阅读次数：
242
一、项目开发流程1.1、项目调研1.2、项目需求分析1.3、方案设计1.3.1、概要设计1.3.2、详细设计1.4、编码实现1.4.1、单元测试1.4.2、集成测试1.4.3、压力测试1.4.4、用户测试二、大数据常用应用2.1、数据出售2.2、数据分析2.2.1、百度统计2.2.2、友盟2.2.3 ...
分类：
其他好文 时间：
2019-04-15 00:17:08
阅读次数：
200
了解到，很多小伙伴都想要学习大数据技术，但真的不知道该如何学习，从哪个方向开始，又如何一步一步将大数据技术归为自己技能的呢？ 要学习大数据的小伙伴可以按照这个路线走，是2019新更新的一版，大家可以放心学习，共分为以下五个阶段的学习： 很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么 ...
分类：
其他好文 时间：
2019-04-14 14:38:28
阅读次数：
139
一、大数据技术基础1、linux操作基础 linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum软件安装 linux防火墙配置 ...
分类：
其他好文 时间：
2019-04-10 00:47:38
阅读次数：
175
第十五章 客户信息管理系统15.1 项目的开发流程15.2 项目的需求分析15.3 项目的界面15.4 项目的设计-程序框架图15.5 项目的功能实现15.5.1 完成 Customer 类15.5.2 完成显示主菜单和退出软件功能15.5.3 完成显示客户列表的功能15.5.4 完成添加客户的功能 ...
分类：
系统相关 时间：
2019-04-06 09:34:36
阅读次数：
248
第十一章 数据结构(下)-集合操作11.1 集合元素的映射-map11.1.1 map 映射函数的操作11.1.2 高阶函数基本使用案例1+案例211.1.3 使用 map 映射函数来解决11.1.4 模拟实现 map 映射函数的机制11.1.5 课堂练习11.2 集合元素的扁平-flatMap11 ...
分类：
其他好文 时间：
2019-04-02 17:05:13
阅读次数：
150
