网页是专利关键字搜索的结果 我是在ubuntu上使用python+BeautifulSoup+requests，环境的搭建直接百度 index是页数，0代表第一页，以此类推 这个脚本的目的是抓取专利的名字及简单摘要，以方便参考和规避^_^ 脚本缺点就是，只能一页一页的运行，运行几次之后得输验证码，目 ...
分类：
其他好文 时间：
2018-12-25 10:12:01
阅读次数：
138
#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport reimport requestsfrom bs4 import NavigableStringfrom bs4 import BeautifulSoupres=requests.g ...
分类：
编程语言 时间：
2018-12-15 23:18:07
阅读次数：
241
1.是用curl抓取的数据是用类似gzip压缩后的数据导致的乱码。乱码：curl www.1ting.com |more乱码：curl -H "Accept-Encoding: gzip"www.1ting.com | more不乱码：curl -H "Accept-Encoding: gzip"w ...
分类：
Web程序 时间：
2018-12-13 01:23:23
阅读次数：
255
在我们使用chrome作为爬虫获取网页数据时，往往需如下几步。 打开chrome 导航至目标页面 等待目标页面加载完成 解析目标页面数据 保存目标页面数据 关闭chrome 我们实际的编码往往集中在第4步，并且，在开发过程中，解析网页数据往往不是一步到位的，需要经过反复多次调试才行。如果每次调试都需... ...
分类：
其他好文 时间：
2018-12-11 11:21:39
阅读次数：
1224
weixin4j封装好的SnsComponent组件中的方法可以执行该步骤 WeixinUserInfoController : 这个控制层通过传入code返回SnsUser的用户实例. 前端是Ajax请求: index.jsp : (或是什么html 也可以执行ajax请求) 前端继而解析json ...
分类：
微信 时间：
2018-12-10 22:59:28
阅读次数：
349
Scarp框架 需求 获取网页的url 下载网页内容(Downloader下载器) 定位元素位置, 获取特定的信息(Spiders 蜘蛛) 存储信息(ItemPipeline, 一条一条从管里走) 队列存储(scheduler 调度器) 首先, spiders 给我们一个初始的URL, spider ...
分类：
其他好文 时间：
2018-12-09 14:07:20
阅读次数：
264
TCP协议对应于传输层，而HTTP协议对应于应用层，从本质上来说，二者没有可比性。Http协议是建立在TCP协议基础之上的，当浏览器需要从服务器获取网页数据的时候，会发出一次Http请求。Http会通过TCP建立起一个到服务器的连接通道，当本次请求需要的数据完毕后，Http会立即将TCP连接断开，这 ...
分类：
Web程序 时间：
2018-12-03 11:18:03
阅读次数：
257
文章解析： 1.正则表达式解析 2.beautifulsoup，BeautifulSoup是一个复杂的树形结构，她的每一个节点都是一个python对象，获取网页的内容就是一个提取对象内容的过程，它的提取方法可以归类为三种，1）遍历文档树 2）搜索文档树 3）css选择器 https://beauti ...
分类：
编程语言 时间：
2018-11-30 11:34:18
阅读次数：
214
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或 ...
分类：
其他好文 时间：
2018-11-30 11:32:08
阅读次数：
197
最近项目需求，做一些新闻站点的爬取工作。1.简单的jsoup爬取，静态页面形式； 通过jsop解析返回Document 使用标签选择器，选择页面标签中的值，即可获取页面内容。 2.延时加载，有些网站存在延时加载，表格内容，或者嵌入页面形式的加载的页面；属于jsop范围 获取到的是Document 使 ...
分类：
编程语言 时间：
2018-11-23 14:24:01
阅读次数：
193
