12月13日，“2017互联网+大数据高峰论坛”在北京中国大饭店拉开帷幕。来自政府、研究机构及高校、企业的大数据专业人士共聚一堂，以“慧聚数据之力，赋能智慧政企”为主题，畅谈大数据的现状及未来。腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式，并向在场嘉宾介绍了“腾讯慧聚”的5大产品平台。
分类：
其他好文 时间：
2018-01-31 20:19:51
阅读次数：
172
1.大数据的概述 大数据：巨量数据、海量数据，首先在数据的量上达到一定的规模，首先是人或者计算机在不合理时间内是不能够实现的数据量。 2.特点：数据量比较大，数据类型多样化、处理速度问题 3.大数据平台分为硬件和软件 4.hadoop出现：数据的不断加大，单机的计算机无法在硬盘、网络IO，计算机的C ...
分类：
其他好文 时间：
2018-01-05 01:22:36
阅读次数：
129
原文:SQL Server 2016 JSON原生支持实例说明背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了，在这个趋势下，如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非... ...
分类：
数据库 时间：
2018-01-05 01:18:21
阅读次数：
271
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据存储部分。 数据作为一种资产 ...
分类：
其他好文 时间：
2018-01-02 23:24:55
阅读次数：
187
本篇主要讲述了如何在CentOS7下部署Hadoop，包括了Hadoop运行的支持组件以及Hadoop的配置，并简单介绍了一下HDFS这个分布式文件系统的命令及用法，最后通过运行简单的MapReduce示例来演示如何运行MapReduce程序。
分类：
系统相关 时间：
2017-12-26 17:45:45
阅读次数：
538
一、 为什么要做爬虫？首先：都说现在是"大数据时代"，那数据从何而来？企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。数据管理咨 ...
分类：
其他好文 时间：
2017-12-23 14:18:47
阅读次数：
191
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集部分。 数据采集的设计， ...
分类：
其他好文 时间：
2017-12-20 04:01:37
阅读次数：
202
整个2017年都在搞大数据平台，完全远离了机器学习，甚至都不记得写过类似ETL的job。 从数据到平台，从业务处理到基础服务。 Metrics的收集，报警，生成报表。Data pipeline的准确性，性能。Job的提交，资源分配。分布式组件的部署，运维。 同时也参与了一个portal的开发，管理分 ...
分类：
其他好文 时间：
2017-12-17 20:54:17
阅读次数：
145
启动sparksbin/start-all.sh停止sparksbin/stop-all.sh启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka bin/zkServer.sh start c ...
分类：
其他好文 时间：
2017-12-12 23:57:34
阅读次数：
346
