这是上的第二节爬虫课程的课后作业：抓取京东某类商品的信息，这里我选择了手机品类。使用scrapy爬虫框架，需要编写和设置的文件主要有phone.py,pipelines.py,items.py,settings.py,其中主要编写的是前两个文件，最后一个文件主要设置破解反爬方法。phone.py编写程序如下：impo..
分类：
编程语言 时间：
2016-12-14 02:39:57
阅读次数：
260
virtualenv使得开发每个项目都独立开发，减少相互之间的影响。安装模块的时候，只在需要的虚拟环境中安装。1,安装虚拟环境所需要的包。因为pip源在国外访问很慢。可以使用以下方式使用国内的源安装模块。国内比较好用的PIP源有，清华大学、阿里云等。清华大学源：https://pypi...
分类：
编程语言 时间：
2016-12-14 02:34:19
阅读次数：
152
python的set是一个无序不重复元素集，基本功能包括关系测试和消除重复元素.集合对象还支持并、交、差、对称差等。sets支持xinset、len(set)、和forxinset。作为一个无序的集合，sets不记录元素位置或者插入点。因此，sets不支持indexing,slicing,或其它类序列（sequence-like）..
分类：
编程语言 时间：
2016-12-14 02:36:37
阅读次数：
261
在完成Django项目和应用的建立后，即可以开始编写网站应用代码，这里通过为注册页面显示一个欢迎标题，来演示Django的路由映射功能。1）首先在djangosite/app/views.py中建立一个路由响应函数：fromdjango.httpimportHttpResponse
defwelcome(request):
returnHttpResponse("&..
分类：
编程语言 时间：
2016-12-14 02:34:28
阅读次数：
168
今日学习记录：While循环。For循环。While基本语法：count=0
WhileTrue:
print(count,"-----")
count+=1
ifcount=100
breakFor基本语法：foriinrange(0,10,2):
print(i,"-----")
forginrange(10)
print(g)
ifg>5:
break示例猜测年龄：age=30
count=0
whiletrue:
guessage=i..
分类：
编程语言 时间：
2016-12-14 02:33:23
阅读次数：
180
现在主流的Web MVC框架除了Struts这个主力 外，其次就是Spring MVC了，因此这也是作为一名程序员需要掌握的主流框架，框架选择多了，应对多变的需求和业务时，可实行的方案自然就多了。不过要想灵活运用Spring MVC来应对大多数的Web开发，就必须要掌握它的配置及原理。 一、Spri ...
分类：
编程语言 时间：
2016-12-14 02:21:09
阅读次数：
296
在完成Django项目和应用的建立后，即可以开始编写网站应用代码，这里通过为注册页面显示一个欢迎标题，来演示Django的路由映射功能。 ...
分类：
编程语言 时间：
2016-12-14 02:17:13
阅读次数：
177
什么是ThreadLocal ThreadLocal一般称为线程本地变量，它是一种特殊的线程绑定机制，将变量与线程绑定在一起，为每一个线程维护一个独立的变量副本。通过ThreadLocal可以将对象的可见范围限制在同一个线程内。 跳出误区 需要重点强调的的是，不要拿ThreadLocal和synch ...
分类：
编程语言 时间：
2016-12-14 02:15:30
阅读次数：
234
1.短路逻辑 逻辑运算中，如果前一个条件已经可以得出最终结论，则后续所有条件不再执行！这里的逻辑运算指的是逻辑与和逻辑或。 我们要理解逻辑与是两个条件都为真的时候，才为真，如果第一个就是假的，那么后面一个也不用执行了。逻辑非是两个条件中有一个是真，则结果为真，所以只要第一个为真，那么结果为真，后面一 ...
分类：
编程语言 时间：
2016-12-14 02:16:31
阅读次数：
193
Servlet.service() for servlet [jsp] in context with path [/struts2Study] threw exceptionjava.lang.IllegalStateException: Must have the StrutsPrepareFi ...
分类：
编程语言 时间：
2016-12-14 02:10:03
阅读次数：
694
归并排序运行时间O(N log N)，但是由于需要线性附加内存，所以很少用于主存排序。 算法核心在于以下三条语句，分治递归，分别对左半边和右半边的属组进行排序，然后把左右半边的属组一一进行比较放入数组 下面是代码，主要包括三个函数： ...
分类：
编程语言 时间：
2016-12-14 02:07:53
阅读次数：
237
# Auther: Aaron Fan# 动态获取执行文件的相对路径路径：print(__file__)#动态获取执行文件的绝对路径：import osfile_path = os.path.abspath(__file__)print(file_path)#返回目录名，不要文件名（返回的是一个路径 ...
分类：
编程语言 时间：
2016-12-14 01:58:34
阅读次数：
185
# Auther: Aaron Fan# 把数据存入到一个文件中# json格式的数据几乎可以通用语任何编程语言，但是仅仅只是简单的格式转换# 比如：字典、列表、元组、字符串这些，像函数、类就不可以这么转换了。# python中有一个支持所有格式转换的模块：pickle，但是pickle格式不能用用 ...
分类：
编程语言 时间：
2016-12-14 01:56:08
阅读次数：
163
使用 python 代码收集主机的系统信息，主要：主机名称、IP、系统版本、服务器厂商、型号、序列号、CPU信息、内存等系统信息。 实验测试结果： ...
分类：
编程语言 时间：
2016-12-14 01:56:32
阅读次数：
197
最简单启动用例方法 1 先建立xml xml代码如下 在xml右击 Run As 启动就可以了 2 testng 启动顺序控制 ...
分类：
编程语言 时间：
2016-12-14 01:50:05
阅读次数：
208
1、pop() 函数用来移出数组中最后一个元素；shift() 函数移出数组中的第一项，unshift（移入）一个元素到数组的头部。 例如： 2、所有的比较操作符返回的都是一个boolean值，要么是 true 要么是false 。使用 if/else语句来做比较然后返回true或false已经成为 ...
分类：
编程语言 时间：
2016-12-14 01:48:31
阅读次数：
243
