标签：爬取 bsp count bubuko http nbsp query 网站 数据
需要注意的问题：
1.首先要获取dep和query参数。
2.分析请求的url地址变化，获取routeCount参数。
我配置代码出现的问题：
1.url拼接问题，网站拒绝访问，模拟请求参数设置user-agent和cookie
2.获取routeCount参数会报异常，因为有的url返回的数据中无这个参数信息。
异常如下：
正常如下：
只有获取了routeCount参数，才能接下来获取所有url的内容信息。
标签：爬取 bsp count bubuko http nbsp query 网站 数据
原文地址：https://www.cnblogs.com/lvjing/p/9994340.html
