前面一篇应该算是比较详细的介绍了spark的基础知识，在了解了一些spark的知识之后相必大家对spark应该不算陌生了吧！如果你之前写过MapReduce，现在对spark也很熟悉的话我想你再也不想用MapReduce去写一个应用程序了，不是说MapReduce有多繁琐(相对而言)，还有运行的效率 ...
分类：
Web程序 时间：
2018-01-07 20:19:04
阅读次数：
225
立IP空间的好处想必大家都能耳熟闻详，稳定性强，利于seo等让大家选择了鼎峰网络香港独立IP空间。那么， 网站独享服务器IP地址，独立IP空间利于百度收录和权重的积累、不受牵连、稳定性强等诸多优势为一身。然而，这些优势同样也吸引着一些不法分子，通过技术手段，恶意解析域名到独立IP空间上，鉴于独立IP ...
分类：
Web程序 时间：
2018-01-03 16:06:08
阅读次数：
217
1：项目技术架构图： 2：流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hado ...
分类：
Web程序 时间：
2017-12-09 23:50:23
阅读次数：
262
AWStats是使用Perl语言开发的一款开源日志分析系统，不仅可以用来分析Apache网站日志，也可以用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等任务计划服务，可以对不断增长的日志内容定期进行分析
分类：
Web程序 时间：
2017-12-09 11:05:00
阅读次数：
314
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：当前页面 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/446434 ...
分类：
Web程序 时间：
2017-11-03 13:11:02
阅读次数：
230
网站日志分析项目案例（一）项目介绍：当前页面 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/446434 ...
分类：
Web程序 时间：
2017-11-03 13:06:48
阅读次数：
261
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分 ...
分类：
Web程序 时间：
2017-11-03 12:57:48
阅读次数：
225
一、MapReduce中有哪些常见算法 （1）经典之王：单词计数 这个是MapReduce的经典案例，经典的不能再经典了！ （2）数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 ...
分类：
编程语言 时间：
2017-11-03 12:50:26
阅读次数：
248
流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑 ...
分类：
其他好文 时间：
2017-10-11 18:12:11
阅读次数：
247
http状态码： 200 正常返回； 301 重定向； 304 页面未修改； 404 无法访问； 500 服务器错误； 503 服务器不可用； 日志分析： 1、软件分析 光年日志分析软件； 2、手工分析； 判别真假蜘蛛： 1、tracert 2、nslookup ...
分类：
Web程序 时间：
2017-07-23 15:18:14
阅读次数：
199
