1、hadoop、Hive、sqoop、spark、storm、odps、dremel、hbase（hadoop、spark重要） 2、oracle、mysql后台开发，以及对量海数据处理、高并发请求处理 3、熟悉Linux，Shell或Python等语言 4、互联网行业数据挖掘 5、分布式、多线程 ...
分类：
其他好文 时间：
2016-06-19 15:40:13
阅读次数：
147
大数据如火如荼的火热着，互联网上资源又让人眼花缭乱不知如何下手，对于新手和准备成为大数据工程师的童鞋更是如此，此博文总结了网上一些知识，希望对大家有帮助。
下图是大数据处理的各个架构层：
以下一一简介各个层，使大家对这块知识有个总体把握：
一、数据存储层
宽泛地讲，据对一致性（consistency）要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。...
分类：
其他好文 时间：
2016-06-12 02:49:57
阅读次数：
1264
这门课程是针对大数据工程师和云计算工程师的基础课程，同时也是所有计算机专业人士必须掌握的一门课程。 如果不掌握数据结构和算法，你将难以掌握高效、专业的数据处理手段，更难以从容应对复杂的大数据处理场景。 请思考以下问题： 1、社交网站（如微博、facebook）中，人与人的关系是海量数据，你如何研究和 ...
分类：
编程语言 时间：
2016-04-12 07:09:37
阅读次数：
427
Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大, ...
分类：
其他好文 时间：
2016-04-11 22:28:37
阅读次数：
225
成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班，通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师、开发设计人员的工作水平，旨在培养专业的大数据Hadoop与Spark技术架构专家，更好地服务于各个行业 ...
分类：
其他好文 时间：
2016-04-11 22:17:04
阅读次数：
172
如果要给2015年的地理信息行业打一个标签，地理大数据一定是其中之一。在信息技术飞速发展的今天，“大数据”作为一种潮流铺天盖地的席卷了各行各业，从央视的春运迁徙图到旅游热点预测，从大数据工程师奇货可居到马云布道“DT”时代，“大数据”被推到了一个前所未有的高度，连国家领导人出访演讲都言必称大数据.....
分类：
其他好文 时间：
2015-12-31 22:55:10
阅读次数：
334
一、MySQL权限管理账户权限信息被存储在mysql数据库的user、db、host、tables_priv、columns_priv和procs_priv表中。GRANT和REVOKE语句所用的涉及权限的名称显示在下表，还有在授权表中每个权限的表列名称和每个权限有关的上下文。当从早期的没有CREA...
分类：
数据库 时间：
2015-08-25 11:57:41
阅读次数：
388
一、创建并使用数据库1.创建并选择数据库使用SHOW语句找出服务器上当前存在什么数据库：mysql> SHOW DATABASES;如果管理员在设置权限时为你创建了数据库，你可以开始使用它。否则，你需要自己创建数据库：mysql> CREATE DATABASE menagerie;在Unix下，数...
分类：
数据库 时间：
2015-08-21 23:18:12
阅读次数：
403
一、文字值1. 字符串字符串指用单引号(‘'’)或双引号(‘"’)引起来的字符序列。例如：'a string'"another string"如果SQL服务器模式启用了NSI_QUOTES，可以只用单引号引用字符串。用双引号引用的字符串被解释为一个识别符。字符串可以有一个可选字符集引介词和COLLA...
分类：
数据库 时间：
2015-08-19 00:23:59
阅读次数：
209
一、准备在正式开始本内容之前，需要先从github下载相关代码，搭建好一个名为mysql_shiyan的数据库(有三张表：department，employee，project)，并向其中插入数据。具体操作如下,首先输入命令进入tmp目录：cd /tmp然后再输入命令，下载代码：git clone ...
分类：
数据库 时间：
2015-08-17 21:44:26
阅读次数：
220
