标签：ref 文件 star net tar 二进制文件 资源 安装 task
1、数据输入小文件处理：
（1）合并小文件：对小文件进行归档、自定义 inputformat 将小文件存储成sequenceFile 文件。
SequenceFile：https://blog.csdn.net/en_joker/article/details/79648861
（2）采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景。
（3）对于大量小文件 Job，可以开启 JVM 重用。
2、map阶段：
（1）增大环形缓冲区大小。由 100M扩大到 200M。
（2）增大环形缓冲区溢写的比例。由 80%扩大到 90%
（3）减少对溢写文件的 merge 合并次数。
（4）不影响实际业务的前提下，采用 combiner 提前合并，减少 I/O。
3、reduce 阶段：
（1）合理设置 map 和 reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 task 等待，延长处理时间；太多，会导致 map、reduce 任务间竞争资源，造成处理超时等错误。
（2）设置 map、reduce 共存：调整 slowstart.completedmaps 参数，使 map 运行到一定程度后，reduce 也开始运行，减少 reduce 的等待时间。
（3）规避使用 reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
（4）增加每个 reduce 去 map 中拿数据的并行数。
（5）集群性能可以的前提下，增大 reduce 端存储数据内存的大小。
4、IO 传输：
（1）采用数据压缩的方式，减少网络 IO 的时间。安装 Snappy 和 LZOP 压缩编码器。
（2）使用 SequenceFile 二进制文件。
5 、整体
（1）MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g 。
（2）ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g 。
（3）可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 cpu 核数 。
（4）增加每个 container 的 cpu 核数和内存大小 。
（5）调整每个 Map Task 和 Reduce Task 最大重试次数 。
标签：ref 文件 star net tar 二进制文件 资源 安装 task
原文地址：https://www.cnblogs.com/guoyu1/p/12236729.html
