本文由云+社区发表 作者：腾讯技术工程官方号 “如果说互联网是优化信息的存储和传输方式，提升生产要素之间的运行效率；人工智能便是对各个生产要素的升级。” 本人初入职场便从事TOB相关工作，参与了tbds等大数据平台的产品建设，近两年逐渐接触人工智能；目前主要负责TI ONE机器学习平台，结合自己工作 ...
分类：
其他好文 时间：
2019-02-12 13:28:11
阅读次数：
179
在进行讲解之前，先带大家学习下hadoop关于hdfs自己的安全如何实现的 名词： ACL-访问控制列表（Access Control List，ACL） ARBAC-基于角色的权限访问控制（Role-Based Access Control） 所有安全体系的了解，大数据平台安全体系的四个层次说起： ...
分类：
其他好文 时间：
2019-02-12 13:06:45
阅读次数：
503
数据安全 安全体系 面对复杂的大数据安全环境，需要从四个层面综合考虑以建立全方位的大数据安全体系：边界安全、访问控制和授权、数据保护、审计和监控。如下图所示： 1、边界——限制只有合法用户身份的用户访问大数据平台集群 （1） 用户身份认证：关注于控制外部用户或者第三方服务对集群的访问过程中的身份鉴别 ...
分类：
其他好文 时间：
2019-01-28 14:08:05
阅读次数：
230
Azure Data Studio是一种跨平台数据库工具，适用于在Windows，MacOS和Linux上使用Microsoft系列内部部署和云数据平台的数据专业人员。Azure Data Studio 是从跨平台 Visual Studio Code (VS Code) 与其 mssql 扩展的交... ...
分类：
数据库 时间：
2019-01-27 16:33:56
阅读次数：
272
纵观任何一家大数据平台的技术架构，总少不了ElasticSearch；ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件，更绝的是提供了一套集数据采集与前端展现为一体的框架（即ELK）， 在我们的应用过程中，与ES集成的前端框架包含有Kibana、Grafana等系统，实际应用过程中 ...
分类：
其他好文 时间：
2019-01-23 17:33:14
阅读次数：
1039
杂谈 在写这篇博客的时候,我内心经不住要吐槽下我上一家公司, 具体名字不说了. 公司是一家创业公司, 感觉公司不是一家务实的公司. 公司没有一位好的CTO. 你能想象我们的CTO不会敲代码. 公司CTO把大数据平台和算法平台都交给了两位主管, 但是不幸的是,这两个主管也都是磨嘴皮子的,做管理的. 所 ...
分类：
其他好文 时间：
2019-01-22 15:07:07
阅读次数：
252
[TOC] 简介 公司有个元数据管理平台，会定期同步 HIVE 中的元数据。但这样做有个问题，就是如果在 HIVE 中插入了一张新表或者新库等 HIVE 元数据变更的操作，元数据管理平台不能及时与 HIVE 表中的数据进行同步。因此需要调研下 HIVE 中有没有类似的监听机制，可以实现 HIVE 中 ...
分类：
其他好文 时间：
2019-01-12 12:03:06
阅读次数：
1117
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输主要技术 9 1.2.2 ...
分类：
其他好文 时间：
2019-01-10 19:31:47
阅读次数：
132
Kafka作为一个流式数据平台，对开发者提供了三种客户端：生产者/消费者、连接器、流处理。本文着重分析这三种客户端的线程模型。看到最后的通常都有惊喜。消费者的线程模型0.8版本以前的消费者客户端会创建一个基于ZK的消费者连接器，一个消费者客户端是一个Java进程，消费者可以订阅多个主题，每个主题也可以多个线程。为了让消息在多个节点被分布式地消费，提高消息处理的吞吐量，Kafka允许多个消费者订阅同
分类：
编程语言 时间：
2019-01-05 12:17:14
阅读次数：
226
hadoop发行版本 1. apache hadoop http://hadoop.apache.org/ 2. cloudera hadoop(CDH) https://www.cloudera.com/ 3. hortonworks hadoop(HDP) https://hortonworks ...
分类：
其他好文 时间：
2019-01-03 15:02:32
阅读次数：
264
