今天在使用python爬取数据并将其写入mysql数据库时，使用该如下语句： cursor.execute( "insert into comments_p_spider(owner_id,from_name,content,create_time,score,comment_level) valu ...
分类：
数据库 时间：
2020-02-15 22:06:24
阅读次数：
228
今天webmaigic爬虫又学了一个小技巧，想要自己设计保存爬取内容形式，可以不用重写Pipeline，在process()方法中写上，你想要的保存操作，多数情况可以达到相同的效果，我的爬虫程序，想要将内容保存在一个txt中，就是这么实现的，个人感觉简单很多，也是看了网上的高手的文章，才学到了这个技 ...
分类：
其他好文 时间：
2020-02-15 22:03:42
阅读次数：
77
今天依旧学习了webmagic爬虫，发现昨天爬取的网址不对，内容也不对，重新找了一个网址爬取，重新整理了思路，发现这个网址，分为三种类型的链接，建议，咨询和一个什么记不清了，需要先判断类型，然后才能分配Id，然后加入url队列。 这个网址的一大难点，就是分页是一个POST传值，然后动态的修改了网页内 ...
分类：
其他好文 时间：
2020-02-15 09:46:15
阅读次数：
69
功能要求为：1，数据采集，定期从网络中爬取信息领域的相关热词 2，数据清洗：对热词信息进行数据清洗，并采用自动分类技术生成自动分类计数生成信息领域热词目录。 3，热词解释：针对每个热词名词自动添加中文解释（参照百度百科或维基百科） 4，热词引用：并对近期引用热词的文章或新闻进行标记，生成超链接目录， ...
分类：
其他好文 时间：
2020-02-15 00:13:41
阅读次数：
141
后来在用JAVA爬取北京信件内容过程中出现好多问题。 我该用python爬取。 这个是我爬取出来的各个信件网址的后缀即（http://www.beijing.gov.cn/hudong/hdjl/com.web.suggest.suggesDetail.flow?originalId=AH20021 ...
分类：
其他好文 时间：
2020-02-14 22:20:42
阅读次数：
136
爬取北京市信件内容： 下载webmagic-0.7-libs.tar.gz压缩包，解压缩。没有压缩包可以加QQ：893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/ ...
分类：
其他好文 时间：
2020-02-14 19:03:24
阅读次数：
108
恢复内容开始 我这里练习爬虫的网站是顶点小说网，地址如下： https://www.booktxt.net/ 我这里以爬取顶点小说网里面的凡人修仙传为例子： 首先观察界面： 第一章： 第二章： 由上面可得出规律，每点一次下一章，url后面的数字就会自动加1。 爬虫主要分为3步： 第一步：构建url列 ...
分类：
其他好文 时间：
2020-02-14 18:18:26
阅读次数：
60
工具：charles，手机模拟器（我用的是mumu模拟器） 经过一番实验，本菜鸟发现，要抓抖音的包，必须要登录，而且还得用手机模拟器 发现URL 后面就比较简单了，直接上代码： import json from time import time import requests from reques ...
分类：
其他好文 时间：
2020-02-14 16:08:00
阅读次数：
726
反正哪里都去不了做个疫情web项目也不错，或许能用上爬虫、数据处理、数据库、web开发的知识~ ...
分类：
Web程序 时间：
2020-02-14 00:54:37
阅读次数：
700
pyquery允许对xml文档进行jquery查询。该API尽可能类似于jquery。pyquery使用lxml进行快速的xml和html操作，能够以jQuery的语法来操作解析 HTML 文档。 实例：爬取疫情报告https://voice.baidu.com/act/newpneumonia/n ...
分类：
Web程序 时间：
2020-02-14 00:36:09
阅读次数：
130
