随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数 ...
分类：
其他好文 时间：
2018-08-21 16:02:11
阅读次数：
225
使用CSV传递文件给大数据平台入HIVE时，经常会遇到字段里面有分隔符，在Oracle等传统关系型数据中可以直接指定双引号为一个字段，但是Hive好像不行，所以需要将非引号中的逗号替换为其他分隔符进行入库
分类：
其他好文 时间：
2018-08-13 23:45:19
阅读次数：
182
1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRedu ...
分类：
其他好文 时间：
2018-08-12 14:16:13
阅读次数：
126
Redis在互联网大数据平台有着广泛的应用，主要被用来缓存热点数据，避免海量请求压垮数据库，同时可以提升服务节点的响应速度和并发量。随着数据量的增多，由于redis是占用单台物理机或虚机的内存，内存资源是有限的，要动态地扩容缩容，就需要用到redis集群。redis集群的架构方案经历了一系列演变和改 ...
分类：
其他好文 时间：
2018-08-03 16:32:05
阅读次数：
152
《面向应用于社会TV分析的应用了SDN的大数据平台》 Abstract social TV analytics 是什么，就是说很多TV观众在微博、微信和推特等这些地方分享他们的观感时，然后有人就对这个进行挖掘分析，这就被称作social TV analytics。不仅如此，这些人还将大数据研究运用进 ...
分类：
其他好文 时间：
2018-07-30 14:44:26
阅读次数：
165
作者介绍： 卢向澄 金融科技领域十余年工作经验，目前在中国证券登记结算公司从事技术架构工作，专注于技术中台、云平台、大数据平台等领域。 1. 背景介绍 我国股市约有1.2亿散户，直接关乎上亿家庭、数亿人切身利益，保护好投资者尤其是中小投资者的合法权益，是资本市场工作人民性的具体体现，也是服务实体经济 ...
分类：
其他好文 时间：
2018-07-26 10:17:04
阅读次数：
458
CentOSLVM卷转变成普通卷操作步骤系统信息lsb_release-aLSBVersion::core-4.1-amd64:core-4.1-noarchDistributorID:CentOSDescription:CentOSLinuxrelease7.2.1511(Core)Release:7.2.1511Codename:Core背景公司线上服务器要上线大数据平台，使用LVM卷对生产上
分类：
其他好文 时间：
2018-07-20 17:30:41
阅读次数：
208
7 月 6 日上午，在 ArchSummit 2018 深圳站 | 全球架构师峰会上，七牛云工程效率部技术专家宫静分享了《基于容器和大数据平台的持续交付平台》为题的演讲。本文是对演讲内容的整理。 本次分享的主要内容是基于 "容器" 和 "大数据平台" 去构建的持续交付系统，是七牛云工程效率部在持续交 ...
分类：
其他好文 时间：
2018-07-19 13:57:12
阅读次数：
159
一：介绍 对于大数据平台本身，其最重要的资产就是运行在上面的任务，平台要有对其任务进行权限控制的能力，包括但不限于： 1. 何人可以查看这个任务信息；2. 何人可以修改这个任务定义；3. 何人可以对这个任务进行操作，保存执行该任务，启用／禁用，删除，重跑等操作；4. 什么人有权限可以修改这个任务本身 ...
分类：
其他好文 时间：
2018-07-17 21:13:11
阅读次数：
154
出版商: hortonworks研发了Ambari和hdp的大数据分析集成平台 cloudera研发了cloudera manger和cdh大数据分析集成平台 稳定性: cloudera相对来说比较稳定 ambari相对来说不稳定(页面打开速度慢) 资源消耗: cloudera manager的se ...
分类：
其他好文 时间：
2018-07-16 00:59:45
阅读次数：
10565
