本文记录下用来爬虫主要使用的两个库。第一个是requests，用这个库能很方便的下载网页，不用标准库里面各种urllib；第二个BeautifulSoup用来解析网页，不然自己用正则的话很烦。requests使用，1直接使用库内提供的get、post等函数，在比简单的情况下使用，2利用session...
分类：
编程语言 时间：
2014-07-11 18:51:34
阅读次数：
250
Hive学习路线图Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, C...
分类：
其他好文 时间：
2014-07-11 08:48:52
阅读次数：
291
你是否苦恼于网上无法下载的“小说在线阅读”内容？或是某些文章的内容让你很有收藏的冲动，却找不到一个下载的链接？是不是有种自己写个程序把全部搞定的冲动？是不是学了 python，想要找点东西大展拳脚，告诉别人“哥可是很牛逼的！”？那就让我们开始吧！ 哈哈
好吧，我就是最近写 Yii 写多了，想找点东西调剂一下.... = =
本项目以研究为目的，所有版权问题我们都是站在作者的一边，以看盗版小说为目的的读者们请自行面壁！
说了这么多，我们要做的就是把小说正文的内容从网页上爬下来，我们的...
分类：
编程语言 时间：
2014-07-08 19:53:59
阅读次数：
311
1.UPX壳我们先来看一下数据是怎么被解压出来的,首先刚进入外壳时,就有这么几句代码:/*462A40*/ pushad/*462A41*/ mov esi,43F000/*462A46*/ lea edi,dword ptr ds:[esi+FFFC2000]/*462A4C*/ mov dwor...
分类：
其他好文 时间：
2014-07-06 20:06:24
阅读次数：
249
狸猫换太子----穿别人的鞋,走自己的路(另类思维实现Ring0隐藏文件)10号的时候接了朋友一个编程方面的订单,要求从头开始写一个精简版的远程控制软件,其他功能不说了,主要是一个,要求设置文件访问权限,要可设置4类(可访问,可写,可删除,可见)根据字面意思很容易可以理解,可访问就是是否可以读(换句...
分类：
其他好文 时间：
2014-07-06 19:30:26
阅读次数：
334
package com.letv.cloud.spider;import java.util.HashSet;import java.util.List;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;impor...
分类：
Web程序 时间：
2014-07-05 18:52:01
阅读次数：
266
垂直搜索引擎大体上需要以下技术
1．Spider
2．网页结构化信息抽取技术或元数据采集技术
3．分词、索引
4．其他信息处理技术
垂直搜索引擎的技术评估应从以下几点来判断
1．全面性
2．更新性
3．准确性
4．功能性
垂直搜索的进入门槛很低，但是竞争的门槛很高。没有专注的精神和精湛的技术是不行的。行业门户网站具备行业优势但他们又是没有...
分类：
其他好文 时间：
2014-07-04 08:45:56
阅读次数：
295
发现科大网页的源码中还有文章的点击率，何不做一个文章点击率的降序排行。简单，前面入门（1）基本已经完成我们所要的功能了，本篇我们仅仅需要添加：一个通过正则获取文章点击率的数字；再加一个根据该数字的插入排序。ok，大功告成！简单说一下本文插入排序的第一个循环，找到列表中最大的数，放到列表 0 的位置做...
分类：
编程语言 时间：
2014-07-01 14:01:14
阅读次数：
245
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok，开始，首先你需要一点python基础，一点点基础就可以，找一本薄薄的书过一遍，可以上这来找找http://wiki.woodpecke...
分类：
编程语言 时间：
2014-07-01 11:47:07
阅读次数：
316
