案例简介 网站用户行为分析本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。 案例目的 硬件要求 本案例可以在单机上完成，也可以在集群环境下完成 ...
分类：
Web程序 时间：
2018-07-05 17:16:53
阅读次数：
346
随着公司业务发展，对大数据的获取和实时处理的要求就会越来越高，日志处理、用户行为分析、场景业务分析等等，传统的写日志方式根本满足不了业务的实时处理需求，所以本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStrea ...
分类：
其他好文 时间：
2018-06-08 23:16:51
阅读次数：
256
云安全验证码抛弃了传统字符型验证码展示-填写字符-比对答案的流程，采用验证码展示-采集用户行为-分析用户行为流程，用户只需要产生指定的行为轨迹，不需要键盘手动输入，极大优化了传统验证码用户体验不佳的问题；同时验证码后台针对用户产生的行为轨迹数据进行机器学习建模，结合访问频率、地理位置、历史记录等多个 ...
分类：
其他好文 时间：
2018-05-31 14:47:50
阅读次数：
566
一、概述 JSON的全称是”JavaScript Object Notation”，意思是JavaScript对象表示法，它是一种基于文本，独立于语言的轻量级数据交换格式。XML也是一种数据交换格式，为什么没 有选择XML呢？因为XML虽然可以作为跨平台的数据交换格式，但是在JS(JavaScrip ...
分类：
Web程序 时间：
2018-05-23 20:30:43
阅读次数：
329
一、创建Maven项目 创建项目，名称为LogAnalysis 二、常用工具类 2.1 配置管理组建 ConfigurationManager.java 1 import java.io.InputStream; 2 import java.util.Properties; 3 4 /** 5 * ...
分类：
其他好文 时间：
2018-05-21 14:53:09
阅读次数：
213
一、概述 数据设计，往往包含两个环节： 第一个：就是我们的上游数据，就是数据调研环节看到的项目基于的基础数据，是否要针对其开发一些Hive ETL，对数据进行进一步的处理和转换，从而让我们能够更加方便的和快速的去计算和执行spark作业； 第二个：就是要设计spark作业要保存结果数据的业务表的结构 ...
分类：
其他好文 时间：
2018-05-21 12:25:25
阅读次数：
190
一、行为事件分析 1.什么是行为事件分析 企业追踪或记录的用户行为或业务过程，如用户注册、浏览产品详情页、成功投资、提现等，通过研究与事件发生关联的所有因素来挖掘用户行为事件背后的原因、交互影响等。 2.行为事件分析的特点与价值 行为事件分析法一般经过事件定义与选择、下钻分析、解释与结论等环节。 事 ...
分类：
其他好文 时间：
2018-05-18 18:42:13
阅读次数：
262
企业在选择用户行为分析工具时，大都不清楚如何选择适合自己业务的用户行为分析工具。笔者自己公司之前网站分析用百度统计APP分析用友盟，公司是做电商行业的，最近公司提出要精细化运营，用数据驱动业务增长，因此在10月份分别考察了国内做得比较出色的几家公司：数极客(阿里系)、神策数据(百度系)和GrowingIO(LinkedIn系)三家公司的用户行为分析产品。我在选型过程中将各家公司的功能和服务对比文档
分类：
其他好文 时间：
2018-01-29 17:36:34
阅读次数：
254
作为已经3年多没有写过代码的程序员来说，本篇不应该算是一篇技术型的文章，而是作为服务上千家客户的ToB大数据创业公司的一次经历，可能很多人对于我们的产品了解并不多，所以我先简单介绍下我们的技术和业务应用场景，我们有多个SaaS产品，有给游戏公司提供免费使用的游戏数据分析平台，有专门做效果广告监测的AdTracking系统，以及把移动广告监测和多维用户行为分析数据打通的TrackingIO系统，其中
分类：
其他好文 时间：
2018-01-10 15:51:31
阅读次数：
233
