Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。 Hadoop的核心是分布式文件系统（Hadoop Distributed ...
分类：
其他好文 时间：
2018-07-11 15:10:35
阅读次数：
311
面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数据领域研究的热点问题。 大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一 ...
分类：
其他好文 时间：
2018-06-30 11:03:38
阅读次数：
213
第一部分 Python基础篇（80题） 为什么学习Python？ 语言本身简洁，优美,功能超级强大，跨平台，从桌面应用,web开发,自动化测试运维，爬虫，人工智能，大数据处理都能做 Python和Java、PHP、C、C#、C++等其他语言的对比？ C语言由于其底层操作特性和历史的积累，在嵌入式领域 ...
分类：
编程语言 时间：
2018-06-25 01:23:59
阅读次数：
3658
1.概述 大数据时代，数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本，而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及和学习热潮，笔者愿意分享自己多年的开发经验，带领读者比较轻松地掌握Hadoop数据挖掘的相关知识。这边是笔 ...
分类：
其他好文 时间：
2018-06-22 21:49:11
阅读次数：
706
Yarn的简单介绍 我们知道在离线大数据处理领域中，hadoop是目前无可厚非的处理架构，到目前为止hadoop已经有三个大版本，每个版本下都有架构方面的调整。 在hadoop1.0中有一些弊端，比如hdfs
分类：
其他好文 时间：
2018-06-17 13:36:15
阅读次数：
189
Apache Beam（原名Google DataFlow）是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一 ...
分类：
Web程序 时间：
2018-06-13 01:04:39
阅读次数：
265
WOT大数据处理技术分会场，PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师，分别针对时下热门的HTAP数据库TiDB、去ETL化的IOTA架构、数据工厂架构、实时敏捷大数据理念实践 ...
分类：
其他好文 时间：
2018-06-07 19:35:44
阅读次数：
170
昨天（5月28号）由社科文献出版社初版的《大数据蓝皮书：中国大数据发展报告No.2》正式发布了。以“数化万物智在融合”为主题的中国国际大数据产业博览会也京举行中。基本可以预见，在接下来的一段时期内关于大数据应用开发又将进入到一个新的阶段。现在市面上围绕大数据的应用开发如火如荼，比如，企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都
分类：
其他好文 时间：
2018-05-31 15:31:30
阅读次数：
154
学习内容：中级：系统基础，系统管理，网络安全和网络服务，shell脚本 高级：MySQL数据库，集群，分布式系统和虚拟化技术：xen，kvm；运维工具的使用，监控工具，大数据处理，python语言的学习 一，虚拟机的使用 基础知识：现代计算机的组成：运算器、控制器、存储器、输入输出设备(I/0)。运 ...
分类：
系统相关 时间：
2018-05-30 01:20:28
阅读次数：
221
