主要上网搜索如何将爬取的数据存入数据库 主要查找的链接:https://blog.csdn.net/Ada5899/article/details/88857867 https://www.cnblogs.com/cjbbk/p/7655233.html https://blog.csdn.net/ ...
分类：
其他好文 时间：
2020-02-03 22:07:31
阅读次数：
42
今天我实现了之前没有实现的管理员小组管理模块中的查看每个用户所看书籍以及批注的功能，然后又重新整理了数据库。 将之前为了爬取数据内容暂时创建，但是之后不会再用到的数据库表删除，以及修改了书库数据库表的结构及内容，还要修改之前写的书库的页面布局。之前使用table来实现的书库布局，但是重新修改代码之后 ...
分类：
其他好文 时间：
2020-02-02 23:35:28
阅读次数：
77
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
之前爬取总是出现如图的结果：手动打开url显示的是想要的结果，但是爬取的时候data为空 尝试了多种方法，偶然得到了想要的结果： 这是多次实验中成功与不成功结果中构造的url 发现 1）得到想要结果，所构造的url中keyword=******与下一参数间没有&链接 2）同样的keyword=%E8 ...
分类：
Web程序 时间：
2020-02-02 19:59:32
阅读次数：
126
今天根据昨天爬取到的网址进行了二次爬取，爬取内容为每个信件的内容，然而本应该是一项很简单的任务，但是奈何数据是真的‘脏’，所以今天知识对所有的三万个网址进行了信件内容的爬取。 使用的时beautifulsoup进行爬取，在爬取的同时对数据进行了简单的处理，完善了一些bug。之后将按照下一步对怕爬取到 ...
分类：
其他好文 时间：
2020-02-02 19:45:52
阅读次数：
67
百度百科特征： https://baike.baidu.com/item/+“信息” 切记不要在要查找的字后面加‘/’ 简介代码XPATH： 1 String htmls=page.getHtml().xpath("//div[@class='lemma-summary']/html()").get ...
分类：
其他好文 时间：
2020-02-02 19:40:51
阅读次数：
68
第一步：爬虫需要的模块包导入 1 # 模块导入 2 import requests 3 from bs4 import BeautifulSoup 4 import pandas as pd 5 print(pd.__version__) 第二步：分析网页信息的存储模式并找到规律 # 获取2015- ...
分类：
其他好文 时间：
2020-02-02 17:35:00
阅读次数：
125
1.实现了二月二日的基础新闻爬取 2.实现了新闻的第二个遍历查询后，可以点击文章标题自动跳转到响应的新闻内容页 ...
分类：
其他好文 时间：
2020-02-02 15:51:48
阅读次数：
47
什么是爬虫 网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资 ...
分类：
编程语言 时间：
2020-02-02 15:45:03
阅读次数：
203
今天准备进行北京市政府信件列表界面信息的爬取，通过老师给的教程发现界面的跳转网址不会发生改变，原来的思路不可用，查询资料可以使用geckodeiver来驱动网页的自动跳转。参考博文：https://www.cnblogs.com/nuomin/p/8486963.html。 其次学习了爬取中需要用到 ...
分类：
编程语言 时间：
2020-02-02 01:46:27
阅读次数：
108
