实现思路解析：爬虫调度器：启动/停止爬虫，规定爬虫的范围；URL管理器：管理2个URL：新的没有爬过的urls；旧的爬过的urls；URL下载器：下载url对应的html数据；HTML解析器：解析并过滤下载到的html数据；数据输出器：把解析过滤后的数据，按一定的格式存储到对应的文件中。
分类：
其他好文 时间：
2018-06-25 20:23:18
阅读次数：
151
博客系统实现组合搜索：动态的获取然后生成url；JSONP的实现和使用，解决跨域请求的问题；XSS过滤：beautifulsoup4模块的使用；单例模式；Django的事务操作。
分类：
编程语言 时间：
2018-06-22 16:28:47
阅读次数：
310
这个就比较简单了没有什么好强调的，如果返回的json 就是直接按照键值取，如果是网页就是用lxml模块的html进行xpath解析。 ...
分类：
编程语言 时间：
2018-06-12 22:35:10
阅读次数：
217
在使用beautifulsoup4时出现此警告，必应后找到如下解决方案： UserWarning：没有明确指定解析器，因此我正在使用该系统的最佳可用HTML解析器（“html.parser”）。这通常不是问题，但是如果您在另一个系统或不同的虚拟环境中运行此代码，它可能会使用不同的解析器并且行为不同。 ...
分类：
编程语言 时间：
2018-05-28 22:50:18
阅读次数：
289
beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 安装 解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 ...
分类：
其他好文 时间：
2018-05-28 16:06:44
阅读次数：
152
爬虫的步骤：将要爬取的目标用户想读的图书的首页的url存储在元组中。通过urllib.request方法构造一个发送请求，在通过urllib.urlopen方法发出请求并取得响应（response）。通过response.read得到页面html，然后在通过beautifulsoup将html解析成 ...
分类：
其他好文 时间：
2018-05-10 17:32:26
阅读次数：
171
Beautiful Soup 借助网页的结构和属性等特性来解析网页，这样就可以省去复杂的正则表达式的编写。 Beautiful Soup是Python的一个HTML或XML的解析库。 1.解析器 综上所述，推荐lxml HTML解析器 1 2 3 from bs4 import BeautifulS ...
分类：
编程语言 时间：
2018-05-02 11:12:53
阅读次数：
313
有这么一本Python的书: <<Python 网络数据采集>> 我准备用.NET Core及第三方库实现里面所有的例子. 这是第一部分, 主要使用的是AngleSharp: https://anglesharp.github.io/ (文章的章节书与该书是对应的) 第1章 初见网络爬虫 发送Htt ...
分类：
Web程序 时间：
2018-04-29 14:32:24
阅读次数：
439
本例使用类与TList相结合，用简洁的方法，实现了一个 HTML 解析与格式化功能。所用到的知识点如下：1.类的提前申明2.TList用法3.String的指针操作4.单例设计5.递归用法 编程是综合实力的较量，把单个技术小点，结合起来，实现一个具体的功能才能创造价值。为了让代码漂亮，需要反复修改， ...
最近忙一个需求：把一个字符串形式的html文档转化成excel。 分解需求： ① 实现语言 ———— python ② html解析 ———— 用 lxml库的etree工具，xpath方式解析文档树 ③ 写excel ———— 用 xlwt库写excel 代码片段： # -*- coding:ut ...
分类：
Web程序 时间：
2018-04-10 19:45:02
阅读次数：
921
