java爬虫系列（二）——爬取动态网页 Mr_OOO 2018-01-01 15:59:40 11440 收藏 11 分类专栏： 爬虫 入门专栏 最简单的java爬虫 文章标签： java 爬虫 seimiagent seimicrawler动态网页 版权 准备工作 项目地址 网页解析工具地址 启动 ...
分类：
编程语言 时间：
2020-10-22 22:20:24
阅读次数：
19
问题 A: Fast Forwarding 时间限制: 1 Sec 内存限制: 128 MB提交 状态 题目描述 Mr. Anderson frequently rents video tapes of his favorite classic films. Watching the films s ...
分类：
其他好文 时间：
2020-09-17 23:48:52
阅读次数：
48
介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
浅谈js面向对象 /** * 浅谈js面向对象 * author: Mr Lee (James Lee) */ /* 一、创建一个类 创建一个类（具有相同属性和行为的对象的集合 */ const User = function (id, name, age) { this.id = id this. ...
分类：
Web程序 时间：
2020-09-17 16:37:06
阅读次数：
30
两个排序列表的相似性 在信息检索领域，我们常用MAP、MRR、NDCG来评估排序算法的好坏，然而这些指标依赖人工标注的query与document的相关性档位（relevance level）。当没有此标注数据，或者我们要评估的排序列表跟相关性无关，并且我们刚好有一个待比较的基准列表时，该如何评估它... ...
分类：
其他好文 时间：
2020-09-15 21:08:54
阅读次数：
37
二分答案，设$s_{i,j}$表示第$i$天对竹子$j$的操作次数，$h_{i,j}$表示第$i$天结束时竹子$j$的高度，则$h_{i,j}=\max(h_{i-1,j}-ps_{i,j},0)+a_{j}$，合法当且仅当$h_{0,i}=h_{i}$且$h_{m,i}\le ans$ 令$h'_ ...
分类：
其他好文 时间：
2020-09-03 17:08:46
阅读次数：
58
数据预处理 在正式处理数据之前对收集的数据进行预先处理的操作。 原因：不管通过何种手段收集的数据 往往是不利于直接分析的 数据中存在的格式规整的差异。 目的：把不干净的数据 格式不规则的数据 通过预处理清洗变成格式统一规整的结构化数据 技术：MapReduce 预处理的编程思路问题 在使用mr编程的 ...
分类：
Web程序 时间：
2020-08-10 17:26:02
阅读次数：
80
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
从MySQL的MRR开始 开始之前，先从MySQL入手，看一下MySQL中的MRR机制原理，也就是Multi-Range Read。MySQL中在按照非聚集索引的范围查找且需要回表的情况下，比如select * from t where c2>100 and c2<200;c2为非聚集索引。如果直接 ...
分类：
数据库 时间：
2020-07-26 00:44:45
阅读次数：
156
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-07-21 22:25:52
阅读次数：
76
