现在大数据越来越火热，很多人早早听说了大数据的名声，但对于大数据工程师这个职业的具体内容了解的还是不够。今天马哥教育（magedu.com）大数据专家为大家带来一份关于大数据工程师的详细分析，值得收藏~大数据工程师需要做什么呢？大数据工程师就是一群“玩数据”的人，玩出..
分类：
其他好文 时间：
2017-05-25 14:36:15
阅读次数：
290
今天是2017年5月9日，记录下今天 关于大数据，关于hadoop，大概学习了两个月左右，今天也在我的课上把ppt给讲了，个人觉得讲的不是很清晰，但别人夸我讲的好，可能是因为我把实验做出来了的原因，也就是在eclipse中运行wordcount以及cascading-wordcount,但是，我觉得 ...
分类：
其他好文 时间：
2017-05-09 21:39:06
阅读次数：
125
未来是大数据的时代，未来的竞争就是数据的竞争。以前，我们都是有问题找数据，而大数据时代，其最核心的特质则是“用数据找机会”。——车品觉 《决战大数据：驾驭未来商业的利器》是我在两年前接触到的第一本关于大数据的书籍，由阿里巴巴集团副总裁车品觉所著。此书不是讲具体的大数据处理技术，而是从一个大数据运营践 ...
分类：
其他好文 时间：
2017-03-30 18:40:41
阅读次数：
162
前言 关于时下最热的技术潮流，无疑大数据是首当其中最热的一个技术点，关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目”，当然了，时下热 ...
分类：
其他好文 时间：
2016-08-03 13:40:01
阅读次数：
204
关于此文 最近在忙着准备校招的相关复习，所以也整理了一下上学期上课时候的学到的一些知识。刚好发现当时还写了一篇类似于文献综述性质的文章，就在这里贴出来。题材是关于大数据的，也是比较火热的一个话题，虽然现在接触的项目与大数据不太有关联，可能以后也不一定从事这方面的工作吧。就IT行业的研究成果来讲国外期 ...
分类：
其他好文 时间：
2016-07-30 19:51:50
阅读次数：
697
关于大数据的资讯铺天盖地而来，让人眼花缭乱。虽然资讯很精彩，我们也看到了大数据背后的价值，很多企业选择了商业智能BI产品。商业智能在使用上可分为敏捷BI与传统BI，从名字来看敏捷BI要比传统BI显得利索强大，事实是否如此呢？ ...
分类：
其他好文 时间：
2016-07-05 15:36:11
阅读次数：
113
程序员也三年了，工作以来，一直都在写游戏逻辑，刚好最近闲下来，难得有时间，自己研究一些新的东西。因此赶紧看看关于网络方面的东西，总结一下，好记心不如烂键盘。 其实总的来说，网络也就那么回事，比我原本想像中要简单很多，只有简单的几个接口。 一开始关于大数据，我还想复杂了，原本以为需要自己分包，再合包， ...
分类：
其他好文 时间：
2016-06-27 19:34:03
阅读次数：
179
1、hadoop、Hive、sqoop、spark、storm、odps、dremel、hbase（hadoop、spark重要） 2、oracle、mysql后台开发，以及对量海数据处理、高并发请求处理 3、熟悉Linux，Shell或Python等语言 4、互联网行业数据挖掘 5、分布式、多线程 ...
分类：
其他好文 时间：
2016-06-19 15:40:13
阅读次数：
147
近几年大数据越来越火，作为一名程序员一直想系统的学习一下大数据，并且在网上学习了一些关于大数据的课程。但是这些课程都不体系化，感觉很零碎，收益并不是很大。我对大数据感觉还是很茫然。最近我在51CTO看到了IT18掌徐培成老师的实战大数据课程收获很大。现在我分享一下我..
分类：
其他好文 时间：
2016-06-18 01:36:30
阅读次数：
379
关于大数据的实时流处理，AWS提供了传统方案和完全host方案
传统方案是EC2上面部署flume （采集）、kafka（数据转存）、storam（流处理）完全host方案是Kinesis。使用Kinesis还是需要用户通过API来将手机、网站点击、IoT、传感器等各类数据源的数据接入，并允许用户编写Kinesis的Worker来处理...
分类：
其他好文 时间：
2016-06-12 02:57:31
阅读次数：
847
