大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
分类：
其他好文 时间：
2018-04-09 00:14:41
阅读次数：
367
本文出自 http://www.ityouknow.com/ mongodb是最早热门非关系数据库的之一，使用也比较普遍，一般会用做离线数据分析来使用，放到内网的居多。由于很多公司使用了云服务，服务器默认都开放了外网地址，导致前一阵子大批 MongoDB 因配置漏洞被攻击，数据被删，引起了人们的注意 ...
分类：
数据库 时间：
2018-03-26 19:06:20
阅读次数：
185
主要包括以下几大块： 大数据基础课程 离线数据分析 离线数据分析hbase 实时数据分析 Scala函数式编程 Spark内存计算 机器学习增强 前五天的课程都是基础课，主要包含Linux基础，shell编程基础以及Java中的多线程、JVM等基础知识，如果你没有相关的基础知识，请自己提前学习。 离 ...
分类：
其他好文 时间：
2018-01-11 20:40:40
阅读次数：
159
mongodb是最早热门非关系数据库的之一，使用也比较普遍，一般会用做离线数据分析来使用，放到内网的居多。由于很多公司使用了云服务，服务器默认都开放了外网地址，导致前一阵子大批 MongoDB 因配置漏洞被攻击，数据被删，引起了人们的注意，感兴趣的可以看看这篇文章：场屠戮MongoDB的盛宴反思：超 ...
分类：
数据库 时间：
2017-12-13 20:11:11
阅读次数：
236
3. 离线数据分析流程介绍 注：本环节主要感受数据分析系统的宏观概念及处理流程，初步理解hadoop等框架在其中的应用环节，不用过于关注代码细节 一个应用广泛的数据分析系统：“web日志数据挖掘” 3.1 需求分析 3.1.1 案例名称 “网站或APP点击流日志数据挖掘系统”。 3.1.2 案例需求 ...
分类：
其他好文 时间：
2017-06-17 14:24:22
阅读次数：
195
用最近做的理赔申请人测试数据集做了个在线分析小网站。 数据结构，算法等设置都保存在json文件里。将来对这个小破站扩充算法，只修改一下json文件就行。 当然，结果分析还是要加代码的。页面代码不贴了，搞清楚django的view+model模型后，写程序还是很简单的。 那些不要脸的爬虫网站，敢不敢注 ...
分类：
Web程序 时间：
2017-05-29 23:31:10
阅读次数：
2372
作者：纯洁的微笑出处：http://www.ityouknow.com/ 版权归作者所有，转载请注明出处 mongodb是最早热门非关系数据库的之一，使用也比较普遍，一般会用做离线数据分析来使用，放到内网的居多。由于很多公司使用了云服务，服务器默认都开放了外网地址，导致前一阵子大批 MongoDB ...
分类：
数据库 时间：
2017-05-21 21:51:07
阅读次数：
410
mongodb是最早热门非关系数据库的之一，使用也比较普遍，一般会用做离线数据分析来使用，放到内网的居多。由于很多公司使用了云服务，服务器默认都开放了外网地址，导致前一阵子大批 MongoDB 因配置...
分类：
数据库 时间：
2017-05-08 10:49:36
阅读次数：
491
hive利用hdfs存储数据文件，利用MapReduce查询数据。 数据库：支持在线联机业务（实时、事务控制） 数据仓库：存储历史数据，面向主题的。主要用于离线数据分析的。 ...
分类：
其他好文 时间：
2017-05-07 23:06:16
阅读次数：
166
1、离线数据分析流程 一个应用广泛的数据分析系统：“web日志数据挖掘” 1.1 需求分析 1.1.1 案例名称 “网站或APP点击流日志数据挖掘系统”。 1.1.2 案例需求描述 “Web点击流日志”包含着网站运营很重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页 ...
分类：
其他好文 时间：
2017-04-24 12:16:38
阅读次数：
352
