题解：直接使用STL中的hash去重即可#include #include using namespace std;int ans[50010];int main(){ int T,n,tmp; scanf("%d",&T); while(T--){ int cnt=...
分类：
其他好文 时间：
2014-07-17 10:02:58
阅读次数：
231
在实现页面跳转的时候，有些人喜欢用Response.Redirect，而有些人则喜欢用Server.Transfer。大部分时间似乎这两种方法都可以实现相同的功能，那究竟有区别吗？ 查了些文档，发现两者区别还是很明显的。根本上，Response是叫浏览器去重新转向到指定的网页，而Server自然是发...
分类：
其他好文 时间：
2014-07-16 20:36:46
阅读次数：
136
题目询问第K大的数//这是我最初的想法，用multiset，AC了——好吧，也许是数据弱也有可能//multiset运用——不去重，边插入边排序//iterator的运用，插入的时候，如果是相同的数没直接放在相同的现有的数据后面的#include#include#include#includeusi...
分类：
其他好文 时间：
2014-07-16 17:52:06
阅读次数：
262
利用边框模拟出小三角形，比较有创意。刚才去试了下，发现好看是好看但不实用，不过它也提醒了我们有必要去重温一下border的样式属性：语法：border-color : color 设置对象边框的颜色。 如果提供全部四个参数值，将按上-右-下-左的顺序作用于四个边框。 如果只提供一个，将用于全部...
分类：
其他好文 时间：
2014-07-16 17:48:30
阅读次数：
179
#coding=utf-8import osimport httplibimport socketdictlist ={};def ReadHost(): hosts = []; obn = open('d:/sss.txt', 'rb'); for line in obn: ...
分类：
其他好文 时间：
2014-07-14 16:01:28
阅读次数：
212
回 到 目 录最近要从网上抓取数据下来，然后hadoop来做存储和分析。每晚尽量更新呆毛王赛高月子酱赛高小唯酱赛高目录 安装hadoop1.0.3 HDFS wordcount mapreduce去重 mapreduce算平均分 mapreduce排序安装hadoop1.0.3 1 u...
分类：
其他好文 时间：
2014-07-14 15:14:34
阅读次数：
279
点击打开链接
类似A strange lift的写法，之前一直返回RE，感觉有点不科学，数据较小。后来看discuss，居然输入还要考虑去重。
题意：略；
解析：最短路问题，但是有两种情况，因此需要根据具体情况来考虑。我采用的是构造两张图，然后在使用Dijkstra中将dis与cost放在一个结构体中，便于理解。其它就是A strange lift的一点变形
#include
#inc...
分类：
其他好文 时间：
2014-07-14 13:13:17
阅读次数：
288
我们如果在公司或家里使用网络爬虫去抓取自己索要的一些数据的时候，常常对方的网站有defence机制，会给你的http请求返回500错误，只要是相同IP就请求不到数据，这时候我们只能去重启路由器，这样IP地址会改变，网络爬虫就能正常工作了
下面是通过发送Socket请求来模拟路由器的重启指令:
protected void rebotadsl() {
try {
BufferedO...
分类：
编程语言 时间：
2014-07-14 13:00:50
阅读次数：
274
最近调研了一下simhash算法，它主要用在谷歌网页去重中，网上有很多原理性的介绍。既然可以用来判断文件的相似性，就想知道效果怎么样，simhash的精确度是否依赖于分词算法？是否和simhash的长度有关？
在数据去重过程中，都是先对文件进行分块，而后得到关于这个文件的所有指纹(SHA-1 digest)，那么如果把这些fingerprints视为这个文件的单词，作为simhash的输入，效果...
分类：
其他好文 时间：
2014-07-11 08:33:56
阅读次数：
217
总结之前工作中遇到的一个问题。
背景：
运维用scribe从apache服务器推送过来的日志有重复记录，所以这边的ETL处理要去重，还有个需求是要按业务类型多目录输出，方便挂分区，后面的使用。
这两个需求单独处理都没有问题，但要在一个mapreduce里完成，需要一点技巧。
1、map输入数据，经过一系列处理，输出时：
if(ttype.equals("other"))...
分类：
其他好文 时间：
2014-07-11 00:20:13
阅读次数：
226
