码迷,mamicode.com
首页 > 其他好文 > 详细

Spark core 总结(一)

时间:2020-02-15 15:21:21      阅读:73      评论:0      收藏:0      [点我收藏+]

标签:数据量   对象   总结   关系   mit   client   转换   hold   style   

Spark

技术图片

 

 


RDD五大特性
  1、RDD由一组partition组成
  2、每一个分区由一个task来处理
  3、RDD之间有一些列依赖关系
  4、分区类算子必须作用在kv格式得RDD上
  5、spark为task执行提供了最佳计算位置,尽量将task发送到数据所在节点执行


spark 快的原因
  1、spark 尽量将数据放在内存
    spark容易出现OOM
  2、粗粒度资源申请
    在应用程序启动的时候就会申请所有资源
  3、DAG有向无环图
    优化转换过程


Driver
  spark 程序的主程序
    1、负责申请资源
      new SparkContext
    2、负责任务调度
      发送task到Excutor中执行


Excutor
  spark应用程序执行器
  standalone
    worker所在节点启动
  yarn
    NodeManager所在节点启动
  执行task任务,向Driver汇报task执行情况


环境搭建
  local
    本地测试
    需要本地安装hadoop
  standalone
    使用spark自带资源管理框架
      Driver向Master申请资源
    节点组成
      master
        管理资源和分配资源
        存在单点问题
    client
      在本地打印运行日志
      一般用于上线前测试
      Driver在本地(提交任务的节点)启动
      Driver即负责资源申请也负责任务调度
    cluster
      日志不再本地打印
      Driver在集群中启动
      随便选择一个Worker中启动Driver
      一般用于上线运行
  yarn
    使用hadoop的yarn作为资源管理框架
    提交任务 Driver去ResourceManasger中申请资源
    通过实现applicationMaster接口往yarn里面提交任务
    yarn-client
      在本地打印运行日志
      一般用于上线前测试
      Driver在本地(提交任务的节点)启动
      Driver只负责任务调度
      启动ApplicationMaster 为spark应用程序申请资源

技术图片

 

 


    yarn-cluster
      日志不再本地打印
      一般用于上线运行
      Driver(ApplicationMaster)在集群启动
      Driver即负责资源申请也负责任务调度

技术图片

 

常用算子

  transformations算子
  map
    传入一个对象返回一个对象
  flatMap
  Filter
    返回true保留数据,返回false过滤数据
  groupByKey,groupBy
  reduceBykey
    reduceByKey在map端进行预聚合
  union
  join
  sample
  sortBy, sortByKey
  rePartition ,partitionBy(自定义分区器)
    重新分区,会产生shuffle
  mapValues
  action算子
    foreach
    reduce
      在map预聚合
    save
    collect collectAsMap


分区
    1、第一个RDD分区数有block数量决定(和mr一样), inputformat
    2、后续rdd分区数量
      1、默认数去数量等于前一个rdd分区数量
      2、在使用shuffle类算子得时候可以执行分区数量


缓存
    1、RDD默认不保存数据 2,懒执行
    cache
      是一个转换算子,不会触发job,需要接收
      将数据放Excutor内存中, persist(StorageLevel.MEMORY_ONLY)
    persist
      可以指定缓存级别
        1、是否放内存
        2、是否放磁盘
        3、是否放堆外内存
        4、是否序列化
          压缩
          1、好处:数据量变小,占用空间更小
          2、缺点:序列化和反序列化需要浪费cpu执行时间
        5、副本数
      选择缓存级别
        1、内存充足
          MEMORY_ONLY
        2、内存不是很多
          MEMORY_AND_DISK_SER
          尽量将数据压缩之后i放内存
        3、内存不足
          DISK_ONLY
          既然已经放磁盘了,就不必要压缩了
checkpoint
      1、将RDD得数据写入hdfs
      2,checkpoing会切断RDD依赖关系
      3、从最后一个RDD向前回溯,对checkpoint的RDD进行标记,另启动一个job重新计算rdd的数据,并rdd数据写入hdfs(也就是遇到actions算子后启动一个job进行回溯,遇到checkpoint再次启动一个job)
      优化:在checkpoint之前先进行cache(避免重读计算)

技术图片

 

 


pagerank
      网页排名
      计算过程
        1、每个网页一个初始值
        2、通过不断迭代计算新的pr值

 

资源调度和任务调度
      资源调度
        1、细粒度资源调度
          MapReduce
          每一个task都需要单独申请资源
          task启动速度较慢
          资源充分利用
        2、粗粒度资源调度
          spark
          在应用程序启动的时候就会将所有需要的资源全部申请下来,后面task执行变快
          资源浪费(资源没有充分的利用,在执行的过程中无法进行释放,只有当作业全部进行完毕后才释放
        3、spark资源调度流程 yarn-cluster
          1、通过spark-submit提交任务
          2、在本地启动Driver val sc = new SparkContext(conf)
          3、Driver发请求给RM 启动AM
          4、RM分配资源启动AM
          5、AM向RM申请资源启动Excutor
          6、AM分配资源启动Excutor
          7、Excutor反向注册给Driver
          8、开始任务调度(action算子触发)
      任务调度
        1、当遇到一个action算子,启动job,开始任务调度
        2、构建DAG有向无环图
        3、DAGScheduler 根据宽窄依赖切分Stage (stage是一个可以并行计算的task)
        4、DAGScheduler 将stage以taskSet的形式发送给TaskScheduler
        5、TaskScheduler 根据本地化算法将task发送到数据所在节点去执行
        6、TaskScheduler收集tasK执行情况
          如果task失败TaskScheduler默认重试3次
          如果重试3次之后还失败,由DAGScheduler重试stage 默认重试4次
          如果是因为shuffle过程中拉去文件失败发生的异常,TaskScheduler不负责重试task,而是由DAGScheduler重试上一个stage
        TaskScheduler 推测执行
          如果有一个task执行很慢,TaskScheduler会在启动一个task去竞争,谁先执行完,以谁的为准

  
广播变量
    如果不使用广播变量变量副本等于task数量
    如果使用广播变量变量副本等于Executor数量
    广播变量只能在Driver定义,在Executor端读取

    rdd 算子里面不能使用其它rdd

技术图片

 

累加器
  全局累加变量
    1、只能在Driver端定义
    2、只能Executor端累加
    3、只能在Driver读取


spark shuffle
  hash shuffle
    产生小文件的数量:m*r
  hash shuffle manager
    产生小文件的数量:c*r
  sort shuffle 默认
    产生小文件的数量:2*m
  sort shuffle bypass机制

    产生小文件的数量:2*m
    数据在map端不会排序
    当 reduce数量小于 spark.shuffle.sort.bypassMergeThreshold=200触发bypass机制


快的原因
    尽量将数据放到内存里面进行计算
    粗粒度资源调度
    DAG有向无环图
      切分Stoge

RDD五大特性
    1、RDD由一组partition组成
    2、函数操作实际是作用在每个partition上
    3、RDD之间由一系列依赖关系
    4、分区类算子必须作用在kv格式的rdd上
      reducebeykey,groupbykey
    5、spark为task执行提供了最佳计算位置

BlockManager
  每个Executor中都有一个
  管理数据
    1、RDD缓存数据
    2、shuffle数据
    3、广播变量和累加器

技术图片

 

 技术图片

Spark core 总结(一)

标签:数据量   对象   总结   关系   mit   client   转换   hold   style   

原文地址:https://www.cnblogs.com/wyh-study/p/12312027.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!