在爬取12306站点名时发现，BeautifulSoup检索不到station_version的节点 因为script标签在</html>之外，如果用‘lxml’解析器会忽略这一部分，而使用html5lib则不会。 ... 1 <!-- 购物车 --> 2 <div style="display: ...
分类：
编程语言 时间：
2019-11-05 21:44:49
阅读次数：
187
本篇爬虫主要是为了从最好大学网站上爬取2019年各个大学的排名，以及把数据存储到mysql的过程： 1 import requests 2 from bs4 import BeautifulSoup 3 import bs4 4 import pymysql 5 6 # 连接数据库并且创建数据表 7 ...
分类：
其他好文 时间：
2019-11-05 21:43:57
阅读次数：
246
爬取步骤 第一步：获取视频所在的网页 第二步：F12中找到视频真正所在的链接 第三步：获取链接并转换成二进制 第四部：保存 保存步骤代码 import re import requests response = requests.get('https://vd4.bdstatic.com/mda-j ...
分类：
其他好文 时间：
2019-11-05 16:56:05
阅读次数：
123
"""#最基本,请求地址无参数# response=urllib.request.urlopen("https://www.scetc.edu.cn")## html=response.read().decode("utf-8")## print(html) #第二种，传参数的情况#参数的转换 参数 ...
分类：
编程语言 时间：
2019-11-04 22:01:21
阅读次数：
119
目标网址： "猫眼电影" 主要流程 1. 爬取每一个电影所对应的url 2. 爬取具体电影所对应的源码 3. 解析源码，并下载所对应的字体 4. 使用 fontTools 绘制所对应的数字 5. 运用机器学习的方法识别对应的数字 6. 在源码中用识别的数字替换相应的地方 遇坑经历 用 pyquery ...
分类：
Web程序 时间：
2019-11-04 19:24:06
阅读次数：
107
一、第一版 第一版比较通俗易懂，使用的是urllib里的request + bs4里的BeautifulSoup，requests库可以代替urllib里的request，命令行显示结果。 from urllib import request from urllib import error fro ...
分类：
其他好文 时间：
2019-11-04 15:21:46
阅读次数：
79
引言： 很多网页呈现给我们的静态页面，但是实际上是由服务器端的动态页面生成的。再加上网站设有反爬虫机制，所以抓取到的页面不一定和源码相同。 所以！！从源码里copy xpath，不一定能取到数据！ 实例： 非常的简单，从百度首页上，抓取“新闻”这两个字。 接下来打印一下我们抓取到的页面 看不出来啥， ...
分类：
编程语言 时间：
2019-11-03 19:57:29
阅读次数：
473
正则表达式+BeautifulSoup爬取网页可事半功倍。 就拿百度贴吧网址来练练手：https://tieba.baidu.com/index.html 1.find_all()：搜索当前节点的所有子节点，孙子节点。 下面例子是用find_all()匹配贴吧分类模块，href链接中带有“娱乐”两字 ...
分类：
其他好文 时间：
2019-11-03 14:54:59
阅读次数：
415
前言 前面国庆节的时候写过一个简易的爬虫。 "《Python 简易爬虫实战》" 还没看过的同学可以先看一下，这只爬虫主要用来爬取各个博客平台的阅读量等数据，一直以来都是每天晚上我自己手动在本地电脑运行，中间也有过几次忘记运行了，导致没有当天的统计数据。 当然最好的办法就是把这只爬虫部署在服务器上，让 ...
分类：
编程语言 时间：
2019-11-03 11:16:32
阅读次数：
78
# crawl a image import urllib.request response = urllib.request.urlopen("http://placekitten.com/200/300") #load html with open("C:/Users/Mike1/Desktop ...
分类：
其他好文 时间：
2019-11-03 11:08:01
阅读次数：
75
