1 安装包下载 Elasticsearch官网： https://www.elastic.co/products/elasticsearch https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-6-0 本课程选择的版本是 ...
分类：
其他好文 时间：
2020-09-17 23:57:25
阅读次数：
49
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
SpringCloudFlow与ApacheSpark集成点击左上角，关注：“锅外的大佬”专注分享国外最新技术内容帮助每位开发者更优秀地成长1.简介SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的工具包。在这种情况下，管道(Pipelines)是使用SpringCloudStream或SpringCloudTask框架构建的SpringBoot应用程序。在本教程中，我们
分类：
编程语言 时间：
2020-09-07 19:17:49
阅读次数：
55
1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
1、什么是DBus DBus（数据总线）项目为了统一数据采集需求而生， 专注于数据的收集及实时数据流计算，通过简单灵活的配置，以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数 ...
分类：
数据库 时间：
2020-08-02 17:33:21
阅读次数：
95
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
经ESG集团验证，在速度测试中，InterSystemsIRIS?数据平台的性能优于其他主流数据库。7月21日，中国北京–致力于帮助客户创造性地解决最关键的可扩展性、互操作性和系统速度问题的数据技术提供商InterSystems公布了一项针对其旗舰产品InterSystemsIRIS?数据平台的速度测试（SpeedTest）。该测试是一个可自定义的事务分析型应用程序，用来测试并发的实时数据摄取和查
分类：
数据库 时间：
2020-07-21 22:06:30
阅读次数：
121
经ESG集团验证，在速度测试中，InterSystemsIRIS?数据平台的性能优于其他主流数据库。7月21日，中国北京–致力于帮助客户创造性地解决最关键的可扩展性、互操作性和系统速度问题的数据技术提供商InterSystems公布了一项针对其旗舰产品InterSystemsIRIS?数据平台的速度测试（SpeedTest）。该测试是一个可自定义的事务分析型应用程序，用来测试并发的实时数据摄取和查
分类：
数据库 时间：
2020-07-21 22:06:09
阅读次数：
62
最近一直在看《大数据之路：阿里巴巴大数据实践》一书，读完之后感觉受益良多。第一，对于整个大数据的体系有了更多且清晰的认知；第二，对于不同系统的逻辑处理方式给予了引导；第三，毕竟是阿里多年技术的累计产出，而且都是阿里技术大牛写的，干货相当多；最后，如果对于大数据方向想有更深入的了解，推荐阅读本书。 ...
分类：
其他好文 时间：
2020-07-09 01:15:54
阅读次数：
107
流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴，它正在成为一种提供数据处理（包括批处理），实时应用乃至分布式事务的新方法的技术。 1、什么是流处理？ 流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。它只是形成一系列事件，这些 ...
分类：
其他好文 时间：
2020-07-07 09:31:39
阅读次数：
65
