spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发， ...
分类：
其他好文 时间：
2019-10-02 12:51:02
阅读次数：
1950
平台介绍 平台简介 智能平台的主要功能如下： 智能家居基础架构平台定位于PaaS\DaaS服务的兼顾。 下面具体介绍一下我们如何定位PaaS服务的： 在物联网应用和真实设备之间搭建高效、稳定、安全的应用平台：面向设备，适配多种网络环境和常见传输协议，提供各类硬件终端的快速接入方案和设备管理服务；面向 ...
分类：
其他好文 时间：
2019-07-21 10:47:18
阅读次数：
175
大数据平台基础框架是很多初学者必然要掌握的内容，大数据太过抽象，有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。
分类：
其他好文 时间：
2018-05-15 17:38:54
阅读次数：
120
Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易用性和可扩展性的挑战。为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在S ...
分类：
数据库 时间：
2018-02-20 11:49:00
阅读次数：
201
前端日报栏目数据来自码农头条（前端机器人），每日分享前端、移动开发、设计、资源和资讯等，为开发者提供动力，如果觉得内容对你有用，记得分享给你的小伙伴。 欢迎在github上收听每日更新：前端日报 前端HTML5几种存储方式的总结 （前端大全） 神马搜索大数据基础架构 （InfoQ） jQuery带格 ...
分类：
其他好文 时间：
2016-09-05 12:10:10
阅读次数：
126
[说明：本文是阅读Google论文“Dapper,
a Large-Scale Distributed Systems Tracing Infrastructure”之后的一个简要总结，完整译文可参考此处。 另论文“Uncertainty
in Aggregate Estimates from Sampled Distributed Traces”中有关于采样的更详细分析。此外，Twitt...
分类：
移动开发 时间：
2015-08-17 21:46:50
阅读次数：
471
简介：本文是对大数据领域的基础论文的阅读总结，相关论文包括GFS，MapReduce、BigTable、Chubby、SMAQ。大数据出现的原因： 大多数的技术突破来源于实际的产品需要，大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展，互联网上数据量呈献爆炸式的增长，为了满足信息搜...
分类：
其他好文 时间：
2015-01-27 20:07:31
阅读次数：
150
