本次爬取自如网房源信息所用到的知识点: 1. requests get请求 2. lxml解析html 3. Xpath 4. MongoDB存储 正文 1.分析目标站点 1. url: http://hz.ziroom.com/z/nl/z3.html?p=2 的p参数控制分页 2. get请求 ...
分类：
编程语言 时间：
2018-09-13 21:38:16
阅读次数：
210
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。 1. 相关链接 GitHub：https://github.com/gawel/pyquery PyPI：https://pypi. ...
分类：
编程语言 时间：
2018-09-11 16:24:06
阅读次数：
172
#https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#find-all #beautifulSoup可以解析HTML，下载安装时使用的是 pip install beautifulsoup4 ,导入模块时使用的是bs ...
分类：
Web程序 时间：
2018-08-28 13:10:31
阅读次数：
2751
1、首先需要下载插件wxParse 下载地址 https://github.com/ZCLegendary/WXNews 百度云盘有保存 注：须将html2json.js中的console.dir改成console.log()或者注释 ...
分类：
微信 时间：
2018-08-18 16:23:09
阅读次数：
415
定义：基于事件和对象驱动，并具有安全性能的脚本语言 Javascript文件在客户端运行。浏览器(客户端)的主要组件中包括渲染引擎和JS解释器等。渲染引擎 － 用来显示请求的内容，例如，如果请求内容为html，它负责解析html及css，并将解析后的结果显示出来。JS解释器 － 用来解释执行JS代码 ...
分类：
Web程序 时间：
2018-08-16 13:59:44
阅读次数：
164
解析html以构建dom树 -> 构建render树 -> 布局render树 -> 绘制render树 1、若遇到css，则构建css rule tree， 2、若遇到html标签，则构建dom tree， 3、若遇到js，则什么都不干，等js解析执行完成，js可能在此阶段修改dom tree 或 ...
分类：
其他好文 时间：
2018-08-14 17:03:37
阅读次数：
126
前言： 自己利用requests模块下载页面，使用Beautifulsoup解析Html内容，久而久之会遇到各种性能问题，所有专业级的爬虫还得使用 爬虫框架 Scrapy Scrapy功能 引用twisted模块异步下载页面 HTML解析成对象 代理 延迟下载 URL字段去重 指定深度、广度 ... ...
分类：
其他好文 时间：
2018-08-06 14:37:20
阅读次数：
124
首先我们应该先知道浏览器内核渲染进程是由多线程组成的，其中主要包括以下几个 1、GUI渲染线程 。主要负责渲染浏览器界面，解析HTML和CSS，构建DOM树和RenderObject树，布局和绘制等 。当页面需要重绘或者由于某种操作引发页面回流时，该线程就会执行 。注意，GUI渲染线程和JS引擎线程 ...
分类：
Web程序 时间：
2018-08-02 14:56:57
阅读次数：
173
自动解析html页面的编码格式： 需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库 ...
分类：
Web程序 时间：
2018-07-28 15:26:01
阅读次数：
342
1. HtmlAgilityPack简介 网站中首先遇到的问题是爬虫和解析HTML的问题，一般情况在获取页面少量信息的情况下，我们可以使用正则来精确匹配目标。不过本身正则表达式就比较复杂，同时正则表达式的精确程度很难拿捏，太精确和原网页耦合太严重，页面代码稍改动就会使正则无效；太宽泛的正则由可能会匹 ...
分类：
Web程序 时间：
2018-07-25 22:02:07
阅读次数：
1051
