前几天有位微信读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬取不完整，比首页看到的少。原因他也大概分析了下，就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。 分析 他的代码比较简单，主要有以下的步骤：使用 库，打开百度贴吧的首页地 ...
分类：
编程语言 时间：
2017-12-23 11:57:13
阅读次数：
1157
Tips 《Effective Java, Third Edition》一书英文版已经出版，这本书的第二版想必很多人都读过，号称Java四大名著之一，不过第二版2009年出版，到现在已经将近8年的时间，但随着Java 6，7，8，甚至9的发布，Java语言发生了深刻的变化。 在这里第一时间翻译成中文 ...
分类：
编程语言 时间：
2017-12-23 11:57:52
阅读次数：
104
一、绪论 最近一直想弄一个代理，并且对数据包进行解读，从而完成来往流量的嗅探。于是今天学习了一下如何使用Python抓包并进行解包。 首先要用到两个模块 dpkt（我这边ubuntu16.04 LTS）Python2.7中默认安装的 pcap安装 然后来说一下，pypcap主要用来抓包或者说是sni ...
分类：
编程语言 时间：
2017-12-23 11:59:08
阅读次数：
237
JS在复制对象的时候，复制的是指针。有复制关系的两个对象，一个改变时另一个的值也跟着变了。数组也是对象，也存在这种现象。实现非指针复制，可以用JSON方法进行双重转换，也可以便利属性递归赋值。 ...
分类：
编程语言 时间：
2017-12-23 11:59:26
阅读次数：
152
快速排序的原理是，每一次排序都找一个基准数，然后比基准数大的元素，放到基准数的右侧，比基准数小的元素放到基准的左侧，那么最核心的就是找到基准数的位置， 把基准数放到它应在的位置。现在我们对6 1 2 7 9 3 4 5 10 8 进行排序。 首先找一个基准数，就是一个参照数， 用来进行比较。 为了简 ...
分类：
编程语言 时间：
2017-12-23 11:59:35
阅读次数：
141
Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Boot致力于在蓬勃发展的快速应用开发领域（rapid application devel ...
分类：
编程语言 时间：
2017-12-23 12:00:13
阅读次数：
179
https://www.cnblogs.com/linyawen/archive/2012/03/15/2398292.html 我们知道Python的内置dictionary数据类型是无序的，通过key来获取对应的value。可是有时我们需要对dictionary中 的item进行排序输出，可能根 ...
分类：
编程语言 时间：
2017-12-23 12:02:16
阅读次数：
123
一、了解垃圾收集的意义 经过半个多世纪的发展，目前内存的动态分配与内存回收技术已经相当成熟，一切看起来已经进入了"自动化时代"，那么我们为什么还要研究和去了解GC和内存分配呢。答案很简单：当需要排查各种内存溢出、内存泄漏问题时，当垃圾收集成为系统达到更高并发量的瓶颈时候，我们就需要对这些自动化的技术 ...
分类：
编程语言 时间：
2017-12-23 12:04:40
阅读次数：
143
前言：在实际的开发中几乎都会使用到一些框架来辅助项目的开发工作，对于一些框架的代码我们总怀有一些好奇之心，想一探究竟，有源码当然更好了，对于有些JAR包中的代码我们就需要利用反编译工具来看一下了，下面是我常使用的一种安装JAVA反编译工具的方法，操作比较简单，不过时间长了也容易忘记，还是在此小记一笔 ...
分类：
编程语言 时间：
2017-12-23 12:06:01
阅读次数：
154
一、新建maven工程导入正确的pom文件 还是那句话，包导入正确就成功了80%。剩下的20%慢慢攻克吧。 二、建包并创建对应java文件 （1） (2) (3) 三、根据web.xml建立spring文件夹以及springmvc和spring相关的xml文件 在上述的基础上开始建立xml配置文件 ...
分类：
编程语言 时间：
2017-12-23 12:08:05
阅读次数：
256
关于一些JavaScript的小技巧，转载自https://www.geekjc.com/post/5a0a8c9a592e38541f7703c8。 1if语句可以简写三目运算： 2.字符串拼接： 3.箭头函数 4,数组去重（划重点QAQ 面试题好几次都有这个） ...
分类：
编程语言 时间：
2017-12-23 12:08:33
阅读次数：
200
最近有个需求：下载https://mm.meiji2.com/网站的图片。 所以简单研究了一下爬虫。 在此整理一下结果，一为自己记录，二给后人一些方向。 爬取结果如图： 整体研究周期 2-3 天，看完之后，在加上看的时候或多或少也会自己搜到一些其他知识。 顺着看下来，应该会对爬虫技术有一个初步的认识 ...
分类：
编程语言 时间：
2017-12-23 12:09:51
阅读次数：
219
Spring是一个开源框架，Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson 在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来。 它是为了解决企业应用开发的复杂性而创建的。框架的 ...
分类：
编程语言 时间：
2017-12-23 12:10:31
阅读次数：
257
一，博客：二，编辑登录接口输入用户名密码认证成功后显示欢迎信息输入三次后锁定三，多级菜单三级菜单依次选择进入各自子菜单所需知识点：列表，字典作业二：我自己写的：#!/usr/bin/env?python
#-*-coding=utf-8?-*-
#AUTHOR:duwentao
username?=?[‘duwentao‘,‘liu
分类：
编程语言 时间：
2017-12-23 12:11:12
阅读次数：
216
线程安全的队列 unit MyQueue; interface {$DEFINE MULTI_THREAD_QUEUE} //线程安全版本，如果不需要线程安全，请注释掉此行代码 {$IFDEF MULTI_THREAD_QUEUE}uses SyncObjs; // Windows;{$ENDIF} ...
分类：
编程语言 时间：
2017-12-23 12:12:08
阅读次数：
260
__init__，构造函数 使用缩进来控制代码块，判断不加括号，加问号 语法练习： 问题： 单下划线_aa，与双下划线__aa的区别？ ...
分类：
编程语言 时间：
2017-12-23 14:05:27
阅读次数：
174
在R中，和排序相关的函数主要有三个：sort()，rank()，order()。 sort(x)是对向量x进行排序，返回值排序后的数值向量。rank()是求秩的函数，它的返回值是这个向量中对应元素的“排名”。而order()的返回值是对应“排名”的元素所在向量中的位置。 下面以一小段R代码来举例说明 ...
分类：
编程语言 时间：
2017-12-23 14:05:34
阅读次数：
135
#!/usr/bin/python import os import time start_command="sh start-etl.sh " es_mac_confPath ="../conf/wifi_Solr/solrToES_mac.properties" es_identity_conf... ...
分类：
编程语言 时间：
2017-12-23 14:07:16
阅读次数：
189
\r: 将光标，调到最开始 \n: 将光标，调到下一行 打开文件的模式有： r，只读模式（默认）。 w，只写模式。【不可读；不存在则创建；存在则删除内容；】 a，追加模式。【可读； 不存在则创建；存在则只追加内容；】 "+" 表示可以同时读写某个文件 r+，可读写文件。【可读；可写；可追加】 w+， ...
分类：
编程语言 时间：
2017-12-23 14:08:05
阅读次数：
111
题目描述 输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则 解法1：非递归解法 1 class Solution { 2 public: 3 ListNode* Merge(ListNode* pHead1, ListNode* pHead2) 4 { 5 ...
分类：
编程语言 时间：
2017-12-23 14:09:24
阅读次数：
158
