码迷,mamicode.com
首页 > 编程语言 > 详细

微博python爬虫weiboSpider注意事项

时间:2020-02-08 09:15:12      阅读:285      评论:0      收藏:0      [点我收藏+]

标签:hub   mic   info   mamicode   数据库   图片   image   直接下载   删掉   

首先我看的weiboSpider爬虫项目教程出自https://github.com/dataabc/weiboSpider

1.这爬取的是手机端的,所以我把网址https://weibo.com的.com改成了cn,需要爬取的id和cookie也是在这登录后按教程找的。

主页网址上的连续数字不一定是id,资料的网址上是。还可以通过网业源代码搜,oid或uid后面的数字就是。

2.安装环境依赖,就是下载包,我下载的时候没成功,经朋友指点,直接下载未成功导入的包,实践可行。

3。代码包括有关数据库,如果不需要,可以不删除,运行不到那去,不影响。不过删掉应该比较好。

4.技术图片

 

 会输出这的所有格式文件。如图就会有csv和txt两个文件。

 

到这我就没了。。欢迎讨论补充。

微博python爬虫weiboSpider注意事项

标签:hub   mic   info   mamicode   数据库   图片   image   直接下载   删掉   

原文地址:https://www.cnblogs.com/ztabk/p/12275317.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!