hive的库、表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档, 有点小心得分享出来。主要的参考链接 http://tech.meituan.co ...
分类:
其他好文 时间:
2018-07-03 14:49:38
阅读次数:
322
自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识 ...
分类:
编程语言 时间:
2018-07-01 17:51:33
阅读次数:
182
线对 (Line pairs) 是胶片、镜头等电影摄影领域的专用名词。 在一定尺度内的可分辨线对数常被用来衡量仪器的空间分辨能力,能分辨的线对数越多,其能分辨每根线的宽度也越小,其分辨能力也越好。 常用到的分辨率单位有线对每毫米(cy/mm)和线对每毫弧度(cy/mr)。 ...
分类:
其他好文 时间:
2018-06-30 19:48:53
阅读次数:
240
最近开始看一些object detection的文章,顺便整理一下思路。排版比较乱,而且几乎所有图片都是应用的博客或论文,如有侵权请联系我。 "文章阅读路线参考" 目前已完成的文章如下,后续还会继续补充(加 的文章是精读文章): RCNN Overfeat MR CNN SPPNet Fast RC ...
分类:
其他好文 时间:
2018-06-30 17:44:52
阅读次数:
162
粘贴一下我在部门中的一次hive优化的分享。 简述 hive构建在hadoop基础上,利用分布式存储,通过mr引擎实现对大数据的计算。MR会频繁地读写磁盘而且MR任务的启动成本很高。对于hive优化显得尤为重要。而优化的核心就是更好地利用hadoop的分布式特性和hive的有点。本篇从IO、参数设置 ...
分类:
其他好文 时间:
2018-06-29 19:21:14
阅读次数:
160
Mr.Seven Mr.Seven 博客园 首页 新随笔 联系 订阅 管理 随笔-132 文章-153 评论-516 博客园 首页 新随笔 联系 订阅 管理 随笔-132 文章-153 评论-516 随笔-132 文章-153 评论-516 Django之Form组件 Django的Form主要具有 ...
分类:
其他好文 时间:
2018-06-27 10:17:41
阅读次数:
168
Mr:噔噔/ 您好。 您好请坐。 xx:好的,请介绍一下您自己。 MR:xxxxxxx 其实第一重; 要体现身份感,好像自己真的是一个经验者~ 第二重介绍工作场景: 现在除了技术,更多的是实际解决过什么 ? 这时候就是发挥你的表演了。。。 第三重:挑刺环节: 面试者会给你点生僻的东西 这时候你说你会 ...
分类:
其他好文 时间:
2018-06-25 18:55:27
阅读次数:
139
集中精神: 个人理解中文是有很多歧义 Mr: 剑客:紧盯着对方,一漏破绽立马下杀手。 武侠:xxx气沉丹田。。。xxx 五行 狙击手:xxx一动不动,xxxx不睡觉。。 。。。。。。。。。。。。。。。。。。。。 集中: 1。要和xx有对弈感 : ps:nginx 改配置文件, xxx进程开多了 ps ...
分类:
其他好文 时间:
2018-06-25 01:15:18
阅读次数:
150
Python super() 函数 Python super() 函数 super() 函数是用于调用父类(超类)的一个方法。 super 是用来解决多重继承问题的,直接用类名调用父类方法在使用单继承的时候没问题,但是如果使用多继承,会涉及到查找顺序(MRO)、重复调用(钻石继承)等种种问题。 MR ...
分类:
编程语言 时间:
2018-06-23 22:54:24
阅读次数:
243
原文 https://blog.csdn.net/java_mr_zheng/article/details/50469203 mysql max_allowed_packet 设置过小导致记录写入失败 mysql根据配置文件会限制server接受的数据包大小。 原文 https://blog.cs ...
分类:
其他好文 时间:
2018-06-22 18:53:29
阅读次数:
206