scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 ...
分类：
其他好文 时间：
2020-03-16 12:40:59
阅读次数：
51
本系统根据人体姿势判断图中人物是否在睡觉 一、数据爬取 从百度图片上爬取到1000张以上的人体非睡觉图片和睡觉姿势的图片 二、数据抽取 对每一张图片进行关键点检测，将数据存储至csv文件，并添加标记位0（没有睡觉）和1（睡觉）。由于决定睡觉姿态的关键点为 key_points = ['top_hea ...
分类：
其他好文 时间：
2020-03-16 09:15:01
阅读次数：
88
注：由于在第二周中电脑各种罢工，导致了这两个周的效率低，产能低。因此学习到的和亲自动手的东西很少。将在之后的学习周中补上。 第二、三周总 所花时间 3天 代码量（行） 600 博客量（篇） 1 了解到的知识点 1、对网页上数据爬取。 2、补充学习数据库的连接 ...
分类：
其他好文 时间：
2020-03-15 22:17:30
阅读次数：
64
网址：http://www.qianmu.org/ranking/1528.htm import requests from lxml import etree import lxml resp=requests.get('http://www.qianmu.org/2018QS%E4%B8%96% ...
分类：
其他好文 时间：
2020-02-10 22:56:08
阅读次数：
177
经过几天的学习，今天终于完成了首都之窗的数据爬取，现在进行一下总结： 首都之窗的爬取我进行里两步： 一，使用selenium模拟浏览器翻页，爬取列表页上的信息，主要是各个详情页的url（详细说明请看上篇博客) spider.py 1 # -*- coding: utf-8 -*- 2 import ...
分类：
其他好文 时间：
2020-02-08 00:04:06
阅读次数：
66
小编也是最近在学习数据挖掘，看到了第三章用决策树预测获胜的球队。然而，NBA官网早就改版了，Export不能全部下载一年的数据记录，只能按月，而且我也下载不了。想了想，就只能爬取了。话不多说。 小编最开始用的Xpath，感觉路径有点麻烦，而且速度好像也没有BeautifulSoup快，所以小编就选用 ...
分类：
其他好文 时间：
2020-02-05 20:35:17
阅读次数：
75
今天学习了操作系统的第三章，第四章，刷了剑指offer十道算法题。 完成了毕设的关于专辑介绍的自动分类的数据爬取（因为电脑换了，寒假爬取的数据全没了，需要重新爬取） 1.遇到的问题：orcle登录失效，并忘记了system密码： 启动sqlplus 请输入用户名: sqlplus/as sysdba ...
分类：
其他好文 时间：
2020-02-04 20:02:32
阅读次数：
80
一、Ajax数据爬取 1.Ajax介绍 Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax ...
分类：
编程语言 时间：
2020-01-19 23:56:48
阅读次数：
166
1. 海王评论数据爬取前分析 海王上映了，然后口碑炸了，对咱来说，多了一个可爬可分析的电影，美哉~ 摘录一个评论 零点场刚看完，温导的电影一直很不错，无论是速7，电锯惊魂还是招魂都很棒。打斗和音效方面没话说非常棒，特别震撼。总之，DC扳回一分（￣▽￣）。比正义联盟好的不止一点半点（我个人感觉）。还有 ...
分类：
编程语言 时间：
2020-01-17 00:18:26
阅读次数：
160
1. Ajax介绍 Ajax，Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下，与服务器交换数据并更新部分网页的技术。 2. Ajax基本原理 发送Ajax请求 ...
分类：
编程语言 时间：
2020-01-12 20:18:36
阅读次数：
221
