搭建环境： win10，Python3.6，pycharm，未设虚拟环境 之前写的爬虫并没有架构的思想，且不具备面向对象的特征，现在写一个基础爬虫架构，爬取百度百科，首先介绍一下基础爬虫框架的五大模块功能，包括爬虫调度器，URL管理器，HTML下载器，HTML解析器，数据存储器，功能分析如下： >> ...
分类：
编程语言 时间：
2018-03-21 18:36:11
阅读次数：
484
HTTP协议 http协议概述 Hypertext Transfer Protocol，超文本传输协议； 协议双方 ： 浏览器 和 服务器server； 通信规则 规定了客户端发送给服务器的内容格式（请求协议request），也规定了服务器发送给客户端的内容格式（响应协议response）； htt ...
分类：
Web程序 时间：
2018-03-08 17:28:08
阅读次数：
201
BeautifulSoup4和lxml 这两个库主要是解析html/xml文档，BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、 Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。关于BeautifulSoup和lxml的实例介绍 ...
分类：
编程语言 时间：
2018-03-02 22:09:56
阅读次数：
293
一、beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 更多知识访问：官方文档 1.安装 （1）解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我 ...
分类：
其他好文 时间：
2018-03-02 01:11:49
阅读次数：
195
#coding:utf-8#引入相关模块importjsonimportrequestsfrombs4importBeautifulSoupurl="http://news.qq.com/"#请求腾讯新闻的URL，获取其text文本wbdata=requests.get(url).text#对获取到的文本进行解析soup=BeautifulSoup(wbdata,‘lxml‘)#从解析文件中通过s
分类：
编程语言 时间：
2018-02-23 12:06:34
阅读次数：
209
C# 解析html中筛选class的问题C# html解析 class 类 当我们用C#的.net解析html的时候，当html的元素没有id，并且没有过多的属性供筛选，只能通过class="div2"之类的筛选的时候，当我们使用string helperStr1 = item.GetAttribu... ...
什么是HTML？ HTML用于定义文档的内容结构。 什么是css？ 用于定义HTML的文档样式（外观） 该语言书写代码通常会被浏览器解析 下面看： HTML→解析→网页结构（内容） CSS→解析→网页内容外观 二者合起来就是网页所展示的 HTML术语 HTML注释书写格式：<!--内容-->，快捷键 ...
分类：
Web程序 时间：
2018-02-04 15:41:55
阅读次数：
192
jsoup 简介Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 ...
分类：
Web程序 时间：
2018-01-11 20:28:16
阅读次数：
271
Web页面解析 / Web page parsing 1 HTMLParser解析 下面介绍一种基本的Web页面HTML解析的方式，主要是利用Python自带的html.parser模块进行解析。其主要步骤为: 完整代码 代码中首先对模块进行导入，派生一个新的 Parser 类，随后重载方法，当遇到 ...
分类：
编程语言 时间：
2018-01-08 22:30:09
阅读次数：
284
在使用easyui-combogrid时，由于html解析出的格式是如下三层： <td> <input id="txcombo" class="easyui-combogrid combogrid-f combo-f" value="" style="width: 200px; height: 28 ...
分类：
其他好文 时间：
2017-12-23 17:12:13
阅读次数：
279
