背景介绍： 1、现有JSP ， PHP 等多个语言WEB程序正在运行，并且各个程序没有共同的日子处理方法； 2、希望能够为各个程序提供统一的日子信息记录接口 3、希望记录定制的个人信息+浏览信息+客户端信息+服务端信息 4、日志记录表格数据统计 实现方式： 1、制作一个WEB应用的API接口接受前台 ...
分类：
Web程序 时间：
2019-06-19 23:27:40
阅读次数：
239
以下涉及到的数据统计与 2019 年 5 月 1 日 12 点，数据来源：https://github.com/trending/java?since=monthly 。 下面的内容从 Java 学习文档到最热门的框架再到热门的工具应有尽有，比如下面推荐到的开源项目 Hutool 就是近期比较热门的 ...
分类：
其他好文 时间：
2019-06-19 15:03:52
阅读次数：
147
1. Hive 基本概念 1.1 Hive 介绍 Hive 由 Facebook 开源用于解决海量结构化日志的数据统计； Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供 类SQL 查询功能； 本质是：将 HQL 转化成 MapReduce 程序 ； 1 ...
分类：
其他好文 时间：
2019-06-14 23:48:16
阅读次数：
123
第3章 HBase Shell操作 3.1 基本操作 1．进入HBase客户端命令行 2．查看帮助命令 3．查看当前数据库中有哪些表 3.2 表的操作 1．创建表 2．插入数据到表 3．扫描查看表数据 4．查看表结构 5．更新指定字段的数据 6．查看“指定行”或“指定列族:列”的数据 7．统计表数据 ...
分类：
系统相关 时间：
2019-06-12 09:15:56
阅读次数：
200
什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS ...
分类：
其他好文 时间：
2019-06-09 09:28:32
阅读次数：
88
案例一：统计网站访问量（实时统计） 实时流式计算框架：storm 1)spout 数据源，接入数据源 本地文件如下 编写spout程序： 2)splitbolt 业务逻辑处理 切分数据 拿到网址 3)bolt 累加次数求和 4)Driver 使用字段分组 运行结果如下： 总共190条数据。统计完成之 ...
分类：
Web程序 时间：
2019-06-07 12:34:28
阅读次数：
117
摘要：美图拥有十亿级用户，每天有数千万用户在使用美图的各个产品，从而积累了大量的用户数据。随着App的不断迭代与用户的快速膨胀，产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果，分析用户行为等，随之而来的有越来越多的数据统计、分析等需求，那么如何应对和满足不断膨胀的数据统计与分析需求？ ...
分类：
其他好文 时间：
2019-06-06 21:03:01
阅读次数：
112
本文参照了echarts罗列了几种常用的柱状图在d3中的画法 基本柱状图 使用d3直方图布局 d3的所有布局都不会帮你作图，只是帮你按需处理的数据。 使用 构造一组1000个具有贝茨分布规律并且在1~0的随机数，使用 直方图布局处理数据。统计数据在每个x轴频段出现的频率。然后作出柱状图。 处理后的数 ...
分类：
其他好文 时间：
2019-06-06 00:20:01
阅读次数：
108
Python是一门比较全面与平衡的语言，既能满足包括web在内的系统应用的开发，又能满足数据统计分析等数学领域的计算需求，同时也能作为胶水语言跟其它开发语言互通融合。在数据分析方面，没有其他语言能像Python这样既能精于计算又能保持性能，对于时间序列数据的处理展现了简单便捷的优势。下面是有关金融分 ...
分类：
编程语言 时间：
2019-05-30 01:08:51
阅读次数：
195
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
