标签:pytho 空间 内存 而且 习惯 生产 很多 练手 hibernate
目前大数据行业异常火爆,不少人都对大数据充满了兴趣,其中有大部分人都是之前没有接触过计算机技术的,对编程语言也不太了解,那是不是这部分零基础的朋友就学不了大数据了呢?答案当然是否定的。大数据学习虽然并不简单,但也并不是什么高深莫测,难以驾驭的技术,只要肯努力,零基础的朋友也是完全可以掌握大数据,成功走上职场的。
大数据
开发
很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习企鹅群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系。
零基础学习大数据的话大概分为以下几步:
了解大数据理论
要学习大数据你至少应该知道什么是大数据,大数据一般运用在什么领域。自己对大数据究竟是否有兴趣,如果对大数据一无所知就开始学习,有可能学着学着发现自己其实不喜欢,这样耗时耗力得不偿失。所以如果想要学习大数据,需要先对大数据有一个大概的了解。
大数据遍及我们的日常生活,深入各行各业。衣食住行,淘宝购物,订外卖,订酒店,微博抽奖用户过滤……凡是涉及到大规模数据统计及算法的知识,基本都属于大数据的范畴。
计算机编程语言的学习
对于零基础的朋友,一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言,大家都知道计算机编程语言有很多,比如:R,C++,Java等等,像我们幻维奇迹的课程教授的就是Java大数据。
为什么选择Java?我们都知道Java是目前使用最为广泛的网络编程语言之一,它容易学而且很好用。在众多编程语言中,Java的普及度、易用程度、应用广度都是不错的。
Java略去了运算符重载、多重继承等模糊的概念,去除了C++中许多容易混淆的概念,转而以一种更清楚更容易理解的方式实现。只需理解一些基本的概念,就可以用它编写出适合于各种情况的应用程序。
它没有明显的短板,是国内外很多程序员的首选语言,可以说是一种“性价比”比较划算的编程语言。
在学习Java的时候,我们一般需要学习这些课程: HTML&CSS&JS,java的基础,JDBC与数据库,JSP java web技术, jQuery与AJAX技术,SpringMVC、Mybatis、Hibernate等等。这些课程都能帮助我们更好了解Java,学会运用Java。
大数据相关课程的学习
学完了编程语言之后,一般就可以进行大数据部分的课程学习了。一般来说,学习大数据部分的时间比学习Java的时间要短。大数据部分课程,包括大数据技术入门,海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分,Linux,Hadoop,Scala, HBase, Hive, Spark等等专业课程。如果要完整的学习大数据的话,这些课程都是必不可少的。
实战阶段
不用多说,学习完任何一门技术,最后的实战训练是最重要的,进行一些实际项目的操作练手,可以帮助我们更好的理解所学的内容,同时对于相关知识也能加强记忆,在今后的运用中,也可以更快的上手,对于相关知识该怎么用也有了经验。像我们幻维奇迹,后期会给学生安排各种项目实训,是以企业考核员工的标准来要求学生的,经受过这种锻炼的同学,学完就能出师,进入职场可以马上投入工作,相当于已经有了不少经验,所以,学大数据,多练习多找机会做项目肯定是必须的。
总的来说,零基础学习大数据大概就是分为这4个阶段。了解了这些,我们再来看看具体需要掌握哪些技能。
大数据
开发
以一个月薪50k+的阿里大数据工程师为例,成为他这个级别的资深大数据工程师,在技术上到底需要达到什么层面?
—— 你需要掌握以下九大技术。
1Apache Hadoop
Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2017年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在未来会更加猛烈。由于大数据平台的强大, Hadoop可能是一个挑剔的怪兽, 它需要熟悉的技术人员细心的照顾和喂养。掌握Hadoop最核心技术 (例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN) 的技术人员在职场上的需求将越来越大。
2Apache Spark
如果说Hadoop在大数据世界中已广为人知, 那么Spark就是一匹黑马, 它所蕴含的原始潜力使Hadoop黯然失色。无论是否是Hadoop架构, 快速崛起的内存计算技术被认为是MapReduce风格分析框架更快和更简洁的替代方案。Spark最佳的定位应当是大数据技术族中重要的一个成员。Spark仍然需要专业技术进行编程和运行, 这为知晓该技术的工程师提供了不错的工作机会。
3NoSQL
在大数据的操作层面, 诸如 MongoDB 和 Couchbase 等分布式、可扩展的 NoSQL 数据库正在接管市场份额极为庞大的的 SQL 数据库, 例如 Oracle 和 IBM DB2。在 WEB 和移动 app层面, NoSQL数据库常常被做为Hadoop分析的数据源。在大数据领域, Hadoop 和 NoSQL 分别成为良性循环的两个端点。
4机器学习和数据挖掘
也就是Machine Learning and Data Mining。人们习惯于对收集的数据进行挖掘,但是, 在当今大数据的世界里, 数据挖掘已经达到了一个全新的高度。机器学习成为去年大数据技术最热门的领域之一。大数据将会使那些能够利用机器学习技术去构建和训练像分类、推荐和个性化系统等预测分析应用程序的人成为职场宠儿, 取得就业市场上的顶级薪金。
5统计和定量分析
也就是Statistical and Quantitative Analysis,这个就是大数据。如果你有定量推理背景和数学或统计学等方面的学位,那么你就成功了一半。此外,再加上一些使用统计工具经验,例如 R, SAS, Matlab, SPSS, 或者是 Stata, 你就能够锁定这些工作岗位啦。在过去,许多量化工程师都会选择在华尔街工作, 但由于大数据的快速发展, 现在各行各样都需要大量的具有定量分析背景的 极客。
6SQL
以数据为中心的语言已有超过40年的历史了, 但是这种祖父级的语言在当前的大数据时代仍然具有生命力。尽管它难以应对大数据的挑战 (见上文NoSQL部分), 但是, 简化了的结构化语言使其在许多方面变得十分容易。
7Data Visualization
数据可视化,大数据可能不是那么容易理解, 但在某些情况下, 通过鲜活的数据吸引眼球仍然是不可替代的方法。你可以一直用多元或逻辑回归分析方法解析数据, 但是, 有时候使用类似 Tableau 或Qlikview 这样的可视化工具探索数据样本能够直观的告诉你所拥有的数据的形态, 甚至是发现那些能够改变你处理数据方法的一些隐蔽细节。当然,如果你长大后想成为数据艺术家, 那么, 精通一个甚至是更多的可视化工具就是必不可少的了。
8通用程序设计语言
General Purpose Programming Languages,在类似 Java, C, Python, 或 Scala 等通用语言中拥有编程应用经验能够使你相对于那些局限于分析技术的人更具有优势。根据 Wanted Analytics的统计, 招聘具有数据分析背景的“计算机编程”职位的数量增长了 337%。具有传统应用程序开发和新兴数据分析能力的人将会有极大的就业选择空间, 能够自由的在终端用户企业和大数据创业公司之间进行流动。
9创造力和问题解决能力
Creativity and Problem Solving,无论你在高级分析工具和技术方面有多大优势,自主思考能力仍然是无可替代 的。大数据处理工具会不可避免的进行演化发展,新技术会不断涌现并替代这里所列 出的技术。但是,如果你能出于本能的渴求新的知识,并且能够像猎犬一样发现问题 的解决方案,就会有大量的工作机会在等着你。
标签:pytho 空间 内存 而且 习惯 生产 很多 练手 hibernate
原文地址:http://blog.51cto.com/14042734/2319975