前面(1)(2)的内容已经足够爬虫如链家网之类的不需要登录可以直接获取数据的网站。 而要爬取社交网站比较鲜明的特点就是需要登录,否则很多东西都无法获取。经过测试发现,微博,知乎都不是很好登录,知乎有时候的验证码会类似12306那样,而微博除了验证码,在传递参数的时候会对用户名进行base64加密。这 ...
分类:
编程语言 时间:
2017-01-24 14:45:18
阅读次数:
262
str类字符串是不可变对象 1.创建字符串 2.处理字符串的常用函数和操作 (1).函数 len() 返回一个字符串的字符个数 max() 返回字符串中最大的字符 min() 返回字符串中最小的字符 >>>s = "Welcome" >>>len(s) 7 >>>max(s) 'o' >>>min( ...
分类:
编程语言 时间:
2017-01-24 14:45:58
阅读次数:
230
"迭代器” (Iterator) ,它属于一种对象,负责选择集合内的元素,并把它们提供给继承器的用户。作为一个类,它也提供了一级抽象。利用这一级抽象,可将集合细节与用于访问那个集合的代码隔离开。通过继承器的作用,集合被抽象成一个简单的序列。继承器允许我们遍历那个序列,同时毋需关心基础结构是什么——换 ...
分类:
编程语言 时间:
2017-01-24 14:44:14
阅读次数:
282
在JDK5后,java提供一种更加方便的安全机制,不使用synchronized,针对线程的锁定操作和释放操作使用Lock锁。更加清晰明了。举例: Lock lock=new ReentrantLock(); lock.lock 需要加锁的代码 lock.unlock 为什么说lock更为安全呢?因 ...
分类:
编程语言 时间:
2017-01-24 14:42:57
阅读次数:
238
引言: 接上一篇文章讲述处理@RequestMapping的方法参数绑定之后,详细介绍下@RequestBody、@ResponseBody的具体用法和使用时机; 简介: @RequestBody 作用: i) 该注解用于读取Request请求的body部分数据,使用系统默认配置的HttpMessa ...
分类:
编程语言 时间:
2017-01-24 14:38:53
阅读次数:
591
引言: 接上一篇文章,对@RequestMapping进行地址映射讲解之后,该篇主要讲解request 数据到handler method 参数数据的绑定所用到的注解和什么情形下使用; 简介: handler method 参数绑定常用的注解,我们根据他们处理的Request的不同内容部分分为四类: ...
分类:
编程语言 时间:
2017-01-24 14:37:54
阅读次数:
505
当你想将颜色值规范到0~1之间时,你可能会想到使用saturate函数(saturate(x)的作用是如果x取值小于0,则返回值为0。如果x取值大于1,则返回值为1。若x在0到1之间,则直接返回x的值.),当然saturate也可以使用变量的swizzled版本,比如saturate(somecol ...
分类:
编程语言 时间:
2017-01-24 13:45:51
阅读次数:
193
不用单点登录,模拟远程项目的登录页面表单,在访问这个页面的时候自动提交表单到此项目的登录action,就可以实现登录到其他系统。 ssh框架项目 1.以下是本地系统的action代码: 2.模拟的登录页面: ...
分类:
编程语言 时间:
2017-01-24 13:44:29
阅读次数:
317
事实上网络编程简单的理解就是两台计算机相互通讯数据而已,对于程序员而言,去掌握一种编程接口并使用一种编程模型相对就会显得简单的多了,Java SDK提供一些相对简单的Api来完成这些工作。Socket就是其中之一,对于Java而言,这些Api存在与java.net 这个包里面,因此只要导入这个包就可 ...
分类:
编程语言 时间:
2017-01-24 13:42:53
阅读次数:
222
编写Spark的WordCount程序并提交到集群运行[含scala和java两个版本] 1. 开发环境 2. 创建项目1) 新建Maven项目 2) 在pom文件中导入依赖pom.xml文件内容如下: 虽然我们的pom文件中的jar包依赖准备好了,但是在Project的External Libra ...
分类:
编程语言 时间:
2017-01-24 13:39:03
阅读次数:
5755
原因:不详,可能是升级idea造成的,之前打过一个升级补丁; 错误信息: Information:java: javacTask: 源发行版 1.8 需要目标发行版 1.8Information:2017/1/24 11:27 - Compilation completed with 1 error ...
分类:
编程语言 时间:
2017-01-24 13:36:56
阅读次数:
16389
#无参数 #show() 》show() #一个参数 def show(arg): print(arg) show('kkk') #两个参数 def show(arg,xx): print(arg,xx) show('kkk','77') #默认参数,必须放在最后 def show(a1,a2=99 ...
分类:
编程语言 时间:
2017-01-24 13:33:27
阅读次数:
427
前言
上一节教程讲解了最基本的RxJava2的使用, 在本节中, 我们将学习RxJava强大的线程控制.
正题
还是以之前的例子, 两根水管:
RxJava
...
分类:
编程语言 时间:
2017-01-24 12:44:47
阅读次数:
413
武器与怪物的碰撞 目前来说有三种思路,其实前两种算变种了: 1、动画关键帧回调 + 范围检测。http://blog.csdn.net/u013700908/article/details/52888792 这个是在Asset store上面下的一个例子中看到的,其实之前在做端游时,也差不多是这样做 ...
分类:
编程语言 时间:
2017-01-24 12:30:50
阅读次数:
295
1、模型 2、解耦 3、实现 3.1 核心接口 3.2 代码分析 3.2.1 事务管理 3.2.2 数据访问 4、使用 4.1 编程模式 4.2 配置模式 4.2.1 声明式配置方式 4.2.2 注解式配置方式 5、总结 3.1 核心接口 3.2 代码分析 3.2.1 事务管理 3.2.2 数据访问 ...
分类:
编程语言 时间:
2017-01-24 12:25:05
阅读次数:
262