标签：cursor 解析 框架 utf8 连接 封装 代码 amp dem
人生苦短，我用 Python
前文传送门：
小白学 Python 爬虫（2）：前置准备（一）基本类库的安装
小白学 Python 爬虫（3）：前置准备（二）Linux基础入门
小白学 Python 爬虫（4）：前置准备（三）Docker基础入门
小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装
小白学 Python 爬虫（10）：Session 和 Cookies
小白学 Python 爬虫（11）：urllib 基础使用（一）
小白学 Python 爬虫（12）：urllib 基础使用（二）
小白学 Python 爬虫（13）：urllib 基础使用（三）
小白学 Python 爬虫（14）：urllib 基础使用（四）
小白学 Python 爬虫（15）：urllib 基础使用（五）
小白学 Python 爬虫（16）：urllib 实战之爬取妹子图
小白学 Python 爬虫（17）：Requests 基础使用
小白学 Python 爬虫（18）：Requests 进阶操作
小白学 Python 爬虫（21）：解析库 Beautiful Soup（上）
小白学 Python 爬虫（22）：解析库 Beautiful Soup（下）
小白学 Python 爬虫（23）：解析库 pyquery 入门
上一篇的实战写到最后没有用到页面元素解析，感觉有点小遗憾，不过最后的电影列表还是挺香的，真的推荐一看。
本次选题是先写好代码再写的文章，绝对可以用到页面元素解析，并且还需要对网站的数据加载有一定的分析，才能得到最终的数据，并且小编找的这两个数据源无 ip 访问限制，质量有保证，绝对是小白练手的绝佳之选。
郑重声明： 本文仅用于学习等目的。
首先要爬取股票数据，肯定要先知道有哪些股票吧，这里小编找到了一个网站，这个网站上有股票的编码列表：https://hq.gucheng.com/gpdmylb.html 。
打开 Chrome 的开发者模式，将股票代码一个一个选出来吧。具体过程小编就不贴了，各位同学自行实现。
我们可以将所有的股票代码存放在一个列表中，剩下的就是找一个网站，循环的去将每一只股票的数据取出来咯。
这个网站小编已经找好了，是同花顺，链接： http://stockpage.10jqka.com.cn/000001/ 。
想必各位聪明的同学已经发现了，这个链接中的 000001 就是股票代码。
我们接下来只需要拼接这个链接，就能源源不断的获取到我们想要的数据。
首先，还是先介绍一下本次实战用到的请求库和解析库为： Requests 和 pyquery 。数据存储最后还是落地在 Mysql 。
第一步当然是先构建股票代码列表咯，我们先定义一个方法：
def get_stock_list(stockListURL):
r =requests.get(stockListURL, headers = headers)
doc = PyQuery(r.text)
list = []
# 获取所有 section 中 a 节点，并进行迭代
for i in doc('.stockTable a').items():
try:
href = i.attr.href
list.append(re.findall(r"\d{6}", href)[0])
except:
continue
list = [item.lower() for item in list] # 将爬取信息转换小写
return list将上面的链接当做参数传入，大家可以自己运行下看下结果，小编这里就不贴结果了，有点长。。。
详情的数据看起来好像是在页面上的，但是，实际上并不在，实际最终获取数据的地方并不是页面，而是一个数据接口。
http://qd.10jqka.com.cn/quote.php?cate=real&type=stock&callback=showStockDate&return=json&code=000001至于是怎么找出来，小编这次就不说，还是希望各位想学爬虫的同学能自己动动手，去寻找一下，多找几次，自然就摸到门路了。
现在数据接口有了，我们先看下返回的数据吧：
showStockDate({"info":{"000001":{"name":"\u5e73\u5b89\u94f6\u884c"}},"data":{"000001":{"10":"16.13","8":"16.14","9":"15.87","13":"78795234.00","19":"1262802470.00","7":"16.12","15":"40225508.00","14":"37528826.00","69":"17.73","70":"14.51","12":"5","17":"945400.00","264648":"0.010","199112":"0.062","1968584":"0.406","2034120":"9.939","1378761":"16.026","526792":"1.675","395720":"-948073.000","461256":"-39.763","3475914":"313014790000.000","1771976":"1.100","6":"16.12","11":""}}})很明显，这个结果并不是标准的 json 数据，但这个是 JSONP 返回的标准格式的数据，这里我们先处理下头尾，将它变成一个标准的 json 数据，再对照这页面的数据进行解析，最后将分析好的值写入数据库中。
def getStockInfo(list, stockInfoURL):
count = 0
for stock in list:
try:
url = stockInfoURL + stock
r = requests.get(url, headers=headers)
# 将获取到的数据封装进字典
dict1 = json.loads(r.text[14: int(len(r.text)) - 1])
print(dict1)
# 获取字典中的数据构建写入数据模版
insert_data = {
"code": stock,
"name": dict1['info'][stock]['name'],
"jinkai": dict1['data'][stock]['7'],
"chengjiaoliang": dict1['data'][stock]['13'],
"zhenfu": dict1['data'][stock]['526792'],
"zuigao": dict1['data'][stock]['8'],
"chengjiaoe": dict1['data'][stock]['19'],
"huanshou": dict1['data'][stock]['1968584'],
"zuidi": dict1['data'][stock]['9'],
"zuoshou": dict1['data'][stock]['6'],
"liutongshizhi": dict1['data'][stock]['3475914']
}
cursor.execute(sql_insert, insert_data)
conn.commit()
print(stock, '：写入完成')
except:
print('写入异常')
# 遇到错误继续循环
continue这里我们加入异常处理，因为本次爬取的数据有些多，很有可能由于某些原因抛出异常，我们当然不希望有异常的时候中断数据抓取，所以这里添加异常处理继续抓取数据。
我们将代码稍作封装，完成本次的实战。
import requests
import re
import json
from pyquery import PyQuery
import pymysql
# 数据库连接
def connect():
conn = pymysql.connect(host='localhost',
port=3306,
user='root',
password='password',
database='test',
charset='utf8mb4')
# 获取操作游标
cursor = conn.cursor()
return {"conn": conn, "cursor": cursor}
connection = connect()
conn, cursor = connection['conn'], connection['cursor']
sql_insert = "insert into stock(code, name, jinkai, chengjiaoliang, zhenfu, zuigao, chengjiaoe, huanshou, zuidi, zuoshou, liutongshizhi, create_date) values (%(code)s, %(name)s, %(jinkai)s, %(chengjiaoliang)s, %(zhenfu)s, %(zuigao)s, %(chengjiaoe)s, %(huanshou)s, %(zuidi)s, %(zuoshou)s, %(liutongshizhi)s, now())"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
def get_stock_list(stockListURL):
r =requests.get(stockListURL, headers = headers)
doc = PyQuery(r.text)
list = []
# 获取所有 section 中 a 节点，并进行迭代
for i in doc('.stockTable a').items():
try:
href = i.attr.href
list.append(re.findall(r"\d{6}", href)[0])
except:
continue
list = [item.lower() for item in list] # 将爬取信息转换小写
return list
def getStockInfo(list, stockInfoURL):
count = 0
for stock in list:
try:
url = stockInfoURL + stock
r = requests.get(url, headers=headers)
# 将获取到的数据封装进字典
dict1 = json.loads(r.text[14: int(len(r.text)) - 1])
print(dict1)
# 获取字典中的数据构建写入数据模版
insert_data = {
"code": stock,
"name": dict1['info'][stock]['name'],
"jinkai": dict1['data'][stock]['7'],
"chengjiaoliang": dict1['data'][stock]['13'],
"zhenfu": dict1['data'][stock]['526792'],
"zuigao": dict1['data'][stock]['8'],
"chengjiaoe": dict1['data'][stock]['19'],
"huanshou": dict1['data'][stock]['1968584'],
"zuidi": dict1['data'][stock]['9'],
"zuoshou": dict1['data'][stock]['6'],
"liutongshizhi": dict1['data'][stock]['3475914']
}
cursor.execute(sql_insert, insert_data)
conn.commit()
print(stock, '：写入完成')
except:
print('写入异常')
# 遇到错误继续循环
continue
def main():
stock_list_url = 'https://hq.gucheng.com/gpdmylb.html'
stock_info_url = 'http://qd.10jqka.com.cn/quote.php?cate=real&type=stock&callback=showStockDate&return=json&code='
list = get_stock_list(stock_list_url)
# list = ['601766']
getStockInfo(list, stock_info_url)
if __name__ == '__main__':
main()最终小编耗时 15 分钟左右，成功抓取数据 4600+ 条，结果就不展示了。
本系列的所有代码小编都会放在代码管理仓库 Github 和 Gitee 上，方便大家取用。
标签：cursor 解析 框架 utf8 连接 封装 代码 amp dem
原文地址：https://www.cnblogs.com/babycomeon/p/12089531.html
