头一次,参加技术沙龙哈哈哈哈哈 第一个牛人演讲概要 1.图计算 2.Tungsten 3.建议 图存储与计算机中是一个矩阵,在矩阵中标识各个定点和边的属性。 在图中求取关键路径则需要图计算,相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息(点和线)。hadoop则是全部在进 ...
分类:
其他好文 时间:
2016-06-18 16:43:07
阅读次数:
168
前言随着互联网的深入发展,人类已然进入大数据时代。如何在浩瀚的数据海洋里高速有效的获取有价值的信息,正是促使大数据技术具备走向众多企业的潜力。搜索引擎作为获取信息的有效入口,已然经历了20多年的发展,并一直试图理解用户搜索意图以及提升搜索的精准性。Google是全..
分类:
编程语言 时间:
2016-06-14 06:40:06
阅读次数:
968
由于从各光伏电站采集的数据量较大,必须解决海量数据的查询、分析的问题。目前主要考虑两种方式:1. Hadoop大数据技术;2. Oracle(数据仓库)+BI; 本文仅介绍hadoop的技术要应用特征。 Hadoop 基本介绍 hadoop是一个平台,是一个适合大数据的分布式存储和计算的平台。什么是 ...
分类:
其他好文 时间:
2016-06-13 15:07:10
阅读次数:
280
研究生阶段学习的分布式原理与泛型几乎忘完了,当初不怎么懂。。。现在工作中发现大数据技术的底层还是分布式系统,那么重新拾起,总结下~ 一、分布式系统简介 分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个相关系统。这个定义包含了两方面的内容,第一方面是硬件的:机器本身是独立的。第二方面 ...
分类:
其他好文 时间:
2016-06-10 06:05:22
阅读次数:
284
1.大数据架构概览 http://www.open-open.com/lib/view/open1454302509105.html 2.大数据技术基础 http://www.open-open.com/doc/view/c3fd661809a948d39f4b917a51fe43c1 3.SQL ...
分类:
其他好文 时间:
2016-06-03 09:57:58
阅读次数:
134
培训大数据架构开发、挖掘分析!从零基础到高级,一对一培训![技术QQ:2937765541]-----------------------------------------------------------------------------------------------------------------课程体系:获取视频资料和培训解答技术支持地址课程展示(大数据技术很..
分类:
数据库 时间:
2016-05-21 00:04:23
阅读次数:
613
除Hadoop外的9个大数据技术: 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Micro ...
分类:
其他好文 时间:
2016-05-16 11:00:27
阅读次数:
204
近期开始大数据的学习,在学习之前给给自己定义了一个大数据学习路线大数据技术学习路线指南一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概..
分类:
其他好文 时间:
2016-05-14 17:12:12
阅读次数:
163
第五课:Spark Streamingf 源码运行架构图
作者:大数据技术研发人员:谢彪
一、运行架构图
二
二、SparkStreming 运行流程
(一)、在StreamingContext调用start方法的内部其实是会启动JobScheduler的Start方法,进行消息循环,在JobScheduler 的start内部会构造JobGener...
分类:
其他好文 时间:
2016-05-12 20:33:11
阅读次数:
507
1混合云和公共云服务 全球范围内大数据技术及服务需求每年都在不断升级,存储是基础架构组件中的重要组成部分,在2011年到2016年之间将一直保持53%的复合年增长率,技术人员和投资人对于当前技术发展趋势都保持密切关注,因为这有可能直接影响到他们2016年及今后的商业行动。那么下面我就列举近期五项突破 ...
分类:
其他好文 时间:
2016-05-10 20:36:02
阅读次数:
162