欢迎大家前往 "腾讯云+社区" ，获取更多腾讯海量技术实践干货哦~ 本文由 "云加社区技术沙龙" 发表于 "云+社区专栏" 谭安林，腾讯高级工程师，2015年加入腾讯，8年互联网从业经历，从事大数据平台与产品开发相关工作；先后参与广告、金融等领域产品项目，目前负责行为预测解决方案，帮助客户盘活现有客 ...
分类：
其他好文 时间：
2018-09-27 12:01:49
阅读次数：
182
简介 大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台，数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录，用户支付信息等，这些数据存在可能泄漏的风险。大数据平台一般通过用户认证，权限管理以及数据加密等技术保证数据 ...
分类：
其他好文 时间：
2018-09-25 19:33:34
阅读次数：
189
一.背景一.1数据挖掘和大数据分析行业背景和发展趋势移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据IDC《数字宇宙》(DigitalUniverse)研究报告显示，2020年全球新建和复制的信息量已经超过40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚
分类：
其他好文 时间：
2018-09-25 15:30:24
阅读次数：
220
本文适合有一定大数据基础的读者朋友们阅读，但如果你没有技术基础，照样可以继续看（这就好比你看《葵花宝典》第一页：欲练此功，必先自宫，然后翻到第二页：若不自宫，也可练功，没错就是这种感觉→_→）。 大数据的数据采集工作是大数据技术中非常重要、基础的部分，数据不会平白无故地跑到你的数据平台软件中，你得用 ...
分类：
Web程序 时间：
2018-09-25 14:41:36
阅读次数：
228
大数据安全面临的一些挑战性技术问题，这些问题，可以作为研究生选题的一些思考方向，主要有： 1、大数据平台在 Hadoop/Spark开源模式下缺乏整体安全规划，自身安全机制存在局限性 2、大数据平台服务用户众多、场景多样，传统安全机制的性能难以满足需求 3、大数据平台的大规模分布式存储和计算模式导致 ...
分类：
其他好文 时间：
2018-09-23 22:24:00
阅读次数：
249
一、平台基本功能 1. 数据接入 2. 数据存储和查询，存储模型应包括关系型模型，非关系型模型，文档模型等。 3. 数据计算，包括离线批处理，实时计算，机器学习，多维分析和全文检索。 4. 平台安全与管理，解决用户管理，数据隔离，访问授权，访问控制和集群服务安全等问题。 5. 平台辅助工具，如程序开 ...
分类：
其他好文 时间：
2018-09-18 00:29:33
阅读次数：
185
没有套路真的是送！！ 大家都知道，大数据行业spark很重要，而学spark又必须得会scala，贴心的大叔给你找了份spark+scala的资料。 一个好的程序猿的基本素养是学习能力和自驱力。视频给了你们，能不能坚持下来学习，就只能靠自己了，另外大叔每周会不定期更新《每日五分钟搞定大数据》原创系列 ...
分类：
编程语言 时间：
2018-09-17 14:38:53
阅读次数：
133
HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，如Hive，Mapreduce，Spark，HBase等。
分类：
其他好文 时间：
2018-09-14 11:55:55
阅读次数：
201
一个常见的大数据平台架构 这是一个典型的大数据架构，且对架构进行了「分层」，分为「数据源层」、「数据传输层」、「数据存储层」、「编程模型层」和「数据分析层」，如果继续往上走的话，还有「数据可视化层」和「数据应用层」。 ...
分类：
其他好文 时间：
2018-09-13 10:21:55
阅读次数：
276
如果我们回顾5年前会发现，那就是当时Hadoop不是大多数公司的选择，特别是那些要求稳定和成熟的平台的企业。 在这一刻，选择非常简单：当您的分析数据库的大小超过5 7 TB时，您只需启动MPP迁移项目，并转移到经过验证的企业MPP解决方案之一。 没有人听说过“非结构化”数据 如果你要分析日志，只需用 ...
分类：
其他好文 时间：
2018-09-07 18:02:27
阅读次数：
164
