importrequestsimportosimportjsonimporttimeimportrefromretryingimportretry"""爬虫*sixroom"""defchange_title(file):"""替换非法字符"""pattern=re.compile(r"[\/\\\:\*\?\"\<\>\|]")file_name=re.sub(pattern,"_"
分类：
Web程序 时间：
2020-04-20 18:48:35
阅读次数：
77
clear_data.py #!/usr/bin/env python # -*- coding: utf-8 -*- import requests from docx import Document from docx.shared import Inches,Pt from docx.oxml ...
分类：
其他好文 时间：
2020-04-20 17:33:50
阅读次数：
73
一.主题式网络爬虫设计方案 1.主题式网络爬虫名称：搜狗热搜榜综艺最红榜排名 2.主题式网络爬虫爬取的内容：综艺最红榜的名称、排名、搜索指数 3.设计方案概述： 实现思路：首先通过爬虫采集搜狗热搜榜的综艺排名数据，并对采集到的数据进行清洗；然后，对清洗后的数据进行可视化分析，探索隐藏在数据背后的规律 ...
分类：
其他好文 时间：
2020-04-20 15:36:02
阅读次数：
80
背景： python 版本：3.7.4 使用IDEA：pycharm 操作系统：Windows64 第一步：获取登录状态 爬取豆瓣评论是需要用户登录的，所以需要先拿到登陆相关 cookie。进入浏览器（IE浏览器把所有的 cookie 集合到一起了，比较方便取值，其他浏览器需要自己整合所有的 coo ...
分类：
编程语言 时间：
2020-04-20 12:06:10
阅读次数：
154
html 爬虫基础 概念 模拟浏览器发送网络请求，获取响应 分类 通用爬虫 搜索引擎的爬虫，面对整个互联网上所有的网站 聚焦爬虫 针对特定网站的爬虫 分类标准：爬虫爬取的范围 流程 1.url 2.发送请求，获取响应 (提取url地址，发送下一次请求) 3.提取数据 保存 rebots协议 道德层面 ...
分类：
其他好文 时间：
2020-04-20 01:32:33
阅读次数：
90
菜鸟一个，以前没学过爬虫，今天恰好在浏览链家，想对长沙的价格有一个了解，所以用go的一个包goquery学习了一下怎么爬虫。 goquery包的基本使用可以参考链接：https://www.cnblogs.com/diegodu/p/5761961.html 对于爬虫，总体思路是： 1、明确URL( ...
分类：
其他好文 时间：
2020-04-19 18:16:57
阅读次数：
67
一、说在前面 1、昨天完成了： 1）脱离对现成的api的依赖，自己独立爬取、处理和存储数据，实现数据初步审核去除“坏数据”。 2）在web端，自己编写自己的“api”接口，灵活的组织和传递自己所需的数据。 3）重构前三天的代码，加强了app的稳定性，（比如说：现成的api接口用个别的图片地址形式和其 ...
分类：
其他好文 时间：
2020-04-19 17:39:21
阅读次数：
53
一、网络爬虫设计方案 1、爬虫名称：百度汽车热搜 2、内容：爬取百度不同汽车的热搜指数 3、概述：首先查找源代码，分析请求方式和url地址，再使用requests模块获取网页源代码，再使用BeautifulSoup解析得到所需要的数据，然后使用matplotlib实现数据可视化分析，最后进行小结。 ...
分类：
其他好文 时间：
2020-04-19 16:24:21
阅读次数：
126
该项目从网上爬取并分析彩票数据，为用户查看和初步分析往期数据提供一种简易的工具。 https://github.com/unknowcry/Lottery 1 # -*- coding: utf-8 -*- 2 """ 3 @author UKC_unknowcry 4 @date 2020-4-1 ...
分类：
编程语言 时间：
2020-04-19 12:41:46
阅读次数：
83
1、引言 1）、为什么要懂计算机网络 遇到爬虫问题，更容易分析并解决。 比如：更容易理解模拟登陆、反爬、非浏览器客户端数据爬取等 2）、对于爬虫，计算机网络中主要学习的是：网络协议 了解数据交互、传输的原理 3）、推荐书籍： a）计算机网络（自顶向下方法） b）TCP/IP协议族 2、一个完整的网络 ...
分类：
其他好文 时间：
2020-04-19 01:19:25
阅读次数：
158
