大数据，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据拥有四个特征：数据量大、数据种类多、更新速度快、蕴藏的价值大但密度低。大数据虽然蕴含极大的价值，但是如果仅仅停留在数据收集、整理、存储和简单报表... ...
分类：
其他好文 时间：
2017-03-15 15:00:04
阅读次数：
172
最近为了写论文，要大批量收集慕课网的相关用户数据（因为用户个人主页是公开的），故而写了一个插件进行收集。需要在慕课网控制台输入。最后收集了3000多份数据。 收集项 收集标准 用户编号 慕课网用户编号是七位数递增的，范围在5000000以内。故而本次收集将在1000000至5000000内分区段进行 ...
分类：
编程语言 时间：
2017-03-05 16:03:33
阅读次数：
258
回顾网站数据分析历史，从“您是第***位来访用户”到现在百家齐放的专业工具提供商，网站分析已经逐渐发展衍化成一门科学。但面对形态各异的分析数据，很多人仍然困惑于数据的来源，了解数据的收集原理，也许对你解决这些困惑有所帮助。 眼下网站分析数据主要有三种收集方式：Web日志、JavaScript标记和包 ...
分类：
Web程序 时间：
2017-02-14 10:42:03
阅读次数：
214
项目经理 介绍了产品经理——正确地做产品与项目经理——正确地做流程。以及微软的职位名称。微软产品团队三足鼎立的角色分配就是PM、开发、测试。PM负责除产品开发和测试之外的所有事情。从某种意义上说，是前面两种角色的综合。微软通常有专门的产品策划，他们和市场部门的专职人员一起，负责产品的长期发展和市场推 ...
分类：
其他好文 时间：
2017-02-11 15:42:38
阅读次数：
222
基本流程： 数据收集、数据建模、构建数据画像、风险定价。 数据收集：网络行为数据、企业服务范围内行为数据、用户内容偏好数据、用户交易数据、授权数据源、第三方数据源、合作方数据源、公开数据源。 数据建模：文本挖掘、自然语言处理、机器学习、预测算法、聚类算法。 数据画像：基本属性、购买能力、行为特征、兴 ...
分类：
其他好文 时间：
2017-01-22 22:40:47
阅读次数：
235
1、Ganglia简介Ganglia由gmond、gmetad和gweb三部分组成gmond（GangliaMonitoringDaemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。gmond在每台主机上完成实际意义上的指标数据收集工作，并通过侦听/通告协议和集群内其他节点共享数据。使用gmond，你可以很..
分类：
其他好文 时间：
2017-01-12 16:16:16
阅读次数：
287
转载标明出处：http://www.cnblogs.com/adealjason/p/6240122.html 最近想玩一下流计算，先看了flume的实现原理及源码 源码可以去apache 官网下载 下面整理下flume的原理及代码实现： flume是一个实时数据收集工具，hadoop的生态圈之一， ...
分类：
Web程序 时间：
2016-12-31 20:46:48
阅读次数：
582
包含以下几个小的知识点 1htmlTreeParse函数源码和一些参数 2hander的写法 3关于missing函数 4关于if-else语句中else语句的花括号问题 5关于checkHandlerNames函数 6关于GeneralHandlerNames属性 7关于match函数 8关于in ...
分类：
Web程序 时间：
2016-12-30 23:23:44
阅读次数：
1367
配置数据收集器： 1.创建登录名并映射角色 2.配置管理数据仓库 3.创建收集组、收集项 MSDB数据存储 sp_syscollector_create... 4.自动配置相关job 具体步骤： 创建好之后的图： 配置数据收集： 刷新如下图所示： 创建的方法： 具体用法参考： https://msd ...
分类：
数据库 时间：
2016-12-25 23:40:01
阅读次数：
273
方法一:struts2对ModelDriven模式的支持(模型驱动模式) Struts2可以采用类似于Struts1中的ActionForm方式收集数据，这样方式叫ModelDriven模式 Action需要实现ModelDriven接口,实现getModel()方法,返回Bean对象,这样stru ...
分类：
其他好文 时间：
2016-12-24 22:40:15
阅读次数：
139
