特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
采集数据到HDFS 安装flume在虚拟机hdp-1中, 打开SFTP-hdp-1窗口,将fllume压缩包导入到虚拟机hdp-1的/root/目录中. 解压flume压缩包到/root/apps/下,命令: tar -xvzf apache-flume-1.6.0-bin.tar.gz -C ap ...
分类：
其他好文 时间：
2020-06-23 13:03:55
阅读次数：
59
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
一. 逻辑回归 在前面讲述的回归模型中，处理的因变量都是数值型区间变量，建立的模型描述是因变量的期望与自变量之间的线性关系。比如常见的线性回归模型： 而在采用回归模型分析实际问题中，所研究的变量往往不全是区间变量而是顺序变量或属性变量，比如二项分布问题。通过分析年龄、性别、体质指数、平均血压、疾病指 ...
分类：
编程语言 时间：
2020-06-15 17:45:02
阅读次数：
82
不同的视频APP可能和不同公司的ADX有股份关系，甚至，有的视频APP做大了，可以用自己的ADX，那从app到ADX的数据可以直接对接，否则就要有合作，然后ADX对接广告投放引擎 广告投放引擎（也就是媒体服务器）对接多个媒体的数据， （从广告投放引擎，怎么将数据Flume到hdfs，这个不清楚） 这 ...
分类：
其他好文 时间：
2020-06-14 23:24:11
阅读次数：
133
Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:25:14
阅读次数：
618
实现过程 1 角色列表页和信息页面布局 2 功能实现分析 加载所有角色列表 新增 --角色信息页面 权限分配--入口--角色菜单设置页面 行操作 修改--角色修改页面 删除--删除角色信息--同时删除与角色相关的角色菜单关系表、用户角色关系表 角色信息功能： 判断存在性(查询操作) add 清空 e ...
