package com.oned4z; import java.util.Scanner; /** * @program: com.oned4z * @description: 获取最低价手机价格 * @author: Mr.Lin * @create: 2019年7月4日 **/public cl ...
分类：
移动开发 时间：
2019-07-04 21:27:18
阅读次数：
139
1． 本项目中数据仓库的设计 注：采用星型模型 1.1． 事实表设计 原始数据表: ods_weblog_origin =>对应mr清洗完之后的数据 valid string 是否有效 remote_addr string 访客ip remote_user string 访客用户信息 time_lo ...
分类：
Web程序 时间：
2019-06-29 10:31:18
阅读次数：
193
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp ...
分类：
其他好文 时间：
2019-06-21 09:29:38
阅读次数：
185
hive 调优（一）coding调优 本人认为hive是很好的工具，目前支持mr，tez，spark执行引擎，有些大公司原来封装的sparksql，开发py脚本，但是目前hive支持spark引擎（不是很稳定，建议Tez先），所以离线还是用hive比较好。 先将工作中总结，以及学习其他人的hive优 ...
分类：
其他好文 时间：
2019-06-19 12:15:58
阅读次数：
99
1、执行过程失败，报 Container killed on request. Exit code is 143 如下图： 分析：造成这种原因是由于总内存不多，而容器在jvm中占比过高，修改tez-site.xml文件，添加如下配置： 2、ERROR [main] exec.TaskRunner: ...
分类：
其他好文 时间：
2019-06-19 10:50:13
阅读次数：
249
hive运行模式 hive on tez Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源，它把mapreduce的过程拆分成若干个子过程，同时可以把多个mapreduce任务组合成一个较大的DAG任务，减少了mapreduce之间的文件存储，同时合 ...
分类：
其他好文 时间：
2019-06-18 13:49:20
阅读次数：
94
分布式应用开发，计算向数据移动思路： 1，客户端干了什么 Job 2，框架干了什么 MapTask ReduceTask 3，MR语义： 相同的key作为一组调用一次reduce 相同是由排序保证的 具体的比较方法实现产生不同的排序标准 计算向数据移动（理想状态） 数据本地化读取 public cl ...
分类：
其他好文 时间：
2019-06-15 10:00:33
阅读次数：
94
自定义 HBase-MapReduce1 目标：将 fruit 表中的一部分数据（列为 name 的数据），通过 MR 迁入到 fruit_mr 表中。 分步实现： 1．构建 FruitMapper 类，用于读取 fruit 表中的数据 package com.atlxl.mr1; import o ...
分类：
其他好文 时间：
2019-06-13 20:41:12
阅读次数：
103
上一篇文章中我们为大家介绍了嵌入式设备中支持国密算法的几种方法。本篇我们详细的介绍一下第一种方法：移植Miracl库的具体操作步骤。第一步获取源码MIRACL密码库是开源软件，可以直接到官网下载，也可在csdn等论坛中获取。第二步利用MIRACL库函数实现SM2算法实现sm2的功能需要用到MIRACL库中的36个源文件，例如mraes.c、mrec2.c、mrarth0.c、mrcore.c、mr
分类：
编程语言 时间：
2019-06-10 17:16:51
阅读次数：
142
Linux 学习 (一) 最常用的7个Linux命令： cd：切换目录。 pwd：查看当前所在目录。 ls：查看目录下的文件。 touch：没有文件则创建文件。 mkdir：创建目录。 mr：remove删除。 -r可以删除目录 clear：清除屏幕。 文件和目录常用命令 查看目录内容 ls -a： ...
分类：
系统相关 时间：
2019-06-07 11:00:10
阅读次数：
109
