一. 微博模拟登陆 1. 百度搜微博开放平台可满足爬取量不大的情况 2. 微博模拟登陆和下拉鼠标应对ajax加载 from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https:// ...
分类：
其他好文 时间：
2018-09-28 16:29:08
阅读次数：
125
Angularjs作为mvc（或者说mvvm)框架，同样具备模板这一基本概念。 NG加载模板的顺序为 内存加载 AJAX加载。 内存加载 如果之前使用过Bootstrap 插件的ng版，即angular-ui，就会了解到这种方式的具体应用。模板本质上是字符串，把字符串直接写入内存，加载时直接从内存获 ...
分类：
其他好文 时间：
2018-08-25 18:55:43
阅读次数：
475
目标情况 这次我们的目标网站，是ajax加载的数据，首先，打开网页后，直接用浏览器（火狐）自带的开发者工具，点击网络，然后下滑网页，点击xhr，找到json数据，可以看到大概有100条内容！进群：548377875 即可获取数十套PDF哦！ 里面有每一个视频的相关信息，我们只需要取出每一个视频的ur ...
分类：
编程语言 时间：
2018-08-09 19:33:57
阅读次数：
167
如果遇到使用ajax加载的网页，页面元素可能不是同时加载出来的，这个时候，就需要我们通过设置一个等待条件，等待页面元素加载完成，避免出现因为元素未加载导致的错误的出现。 WebDriver提供了两种等待类型：显示等待、隐式等待。 1.显示等待：WebDriverWait()类 显示等待：设置一个等待 ...
分类：
编程语言 时间：
2018-06-24 19:28:30
阅读次数：
865
事件背景 有一个公用页面需要在多个页面调用，其中涉及到部分js已经写在了公用页面中，通过ajax加载该页面后无法执行其中的js。 解决思路 1. 采用附加一个iframe的方法去执行js，为我等代码洁癖者所不齿。 2. 使用document.write输出代码，我等简洁主义者所不愿。 3. 最简单的 ...
分类：
Web程序 时间：
2018-06-20 14:45:47
阅读次数：
242
function loadUserRoleSelect(typeUrl,positionId,selectname,sId,selectedId) { //创建select var $select = $("<select name="+selectname+" id="+sId+"></selec ...
分类：
Web程序 时间：
2018-06-09 00:52:09
阅读次数：
768
一、定义 1、什么是源? 源（origin）就是协议、域名和端口号。以上url中的源就是：http://www.company.com:80若地址里面的协议、域名和端口号均相同则属于同源。以下是相对于 http://www.a.com/test/index.html 的同源检测? http://ww ...
分类：
其他好文 时间：
2018-06-02 12:54:07
阅读次数：
122
js: /API/SotreAJAX.ashx: 获取的字段来自5张表，首先尝试了用属性点，发现有的属性为空，然后尝试用DTO做,查询内容包括：商品名称、每个商品评论、已售、单价、图片路径、单位、skuid、productid。 ProductDTO： SotreAJAX: /API/VshopPr ...
分类：
Web程序 时间：
2018-05-26 13:00:08
阅读次数：
369
今日头条的数据都是ajax加载显示的，按照正常的url是抓取不到数据的，需要分析出加载出址，我们以https://www.toutiao.com/search/?keyword=%E6%96%B0%E9%97%BB为例来采集列表的文章用谷歌浏览器打开链接，右键点击“审查”在控制台切换至network并点击XHR，这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求由于页面是ajax加载的，所
分类：
Web程序 时间：
2018-05-07 23:50:44
阅读次数：
441
