码迷,mamicode.com
首页 > 其他好文 > 详细

我的大数据学习路线

时间:2020-04-07 14:19:05      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:ref   hadoop生态圈   模式   容量   大数   要求   决定   vol   等于   

一、初识大数据

  • 大数据(BIG DATA),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
  • 1MB = 1024KB、1GB = 1024MB
  • 1TB = 1024GB、1PB = 1024TB

二、大数据的特征

  • 容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;
  • 种类(Variety):数据类型的多样性;
  • 速度(Velocity):指获得数据的速度;
  • 可变性(Variability):妨碍了处理和有效地管理数据的过程。
  • 真实性(Veracity):数据的质量
  • 复杂性(Complexity):数据量巨大,来源多渠道
  • 价值(value):合理运用大数据,以低成本创造高价值

三、学习的路线

  • JAVA =====> 面向对象编程语言
  • Linux =====> 类Unix操作系统
  • Hadoop生态圈
    • HDFS =====> 解决存储问题
    • MapReduce =====> 解决计算问题
    • Yarn =====> 资源协调者
    • Zookeeper =====> 分布式应用程序协调服务
    • Flume =====> 日志收集系统
    • Hive =====> 基于Hadoop的数仓工具
    • HBase =====> 分布式、面向列的开源数据库
    • Sqoop =====> 数据传递工具
  • Scala =====> 多范式编程语言、面向对象和函数式编程的特性
  • Spark =====> 目前企业常用的批处理离线/实时计算引擎
  • Flink =====> 目前最火的流处理框架、既支持流处理、也支持批处理
  • Elasticsearch =====> 大数据分布式弹性搜索引擎

四、电脑性能要求

  • 硬性要求:
  • 内存:最低8G+ (建议12G+)
    • 个人电脑最大内存检测:
    • 1)win + R 输入 cmd
    • 2)复制代码:wmic memphysical get maxcapacity
    • 3)所显示的值:MaxCapacity除以1024的平方
    • 4)MaxCapacity:33554432
    • 5)33554432 除以 1024 除以 1024 等于 32G
    • 6)即个人PC的最大支持内存为32G
  • 磁盘:500GB+

五、就业大数据岗位

  • 大数据开发工程师
  • 大数据清洗开发工程师
  • 大数据仓库开发工程师
  • 大数据运维开发工程师
  • 大数据平台开发工程师

??可以去一些招聘网站看看。如:BOOS直聘

我的大数据学习路线

标签:ref   hadoop生态圈   模式   容量   大数   要求   决定   vol   等于   

原文地址:https://www.cnblogs.com/nthforsth/p/12653110.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!