安装node 添加环境变量 cat /etc/profile ...
分类:
其他好文 时间:
2019-05-07 14:24:51
阅读次数:
130
关于PhantomJS PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化,网络监测,网 ...
分类:
Web程序 时间:
2019-05-01 18:39:15
阅读次数:
259
1. requests 中的设置 2. 在selenium 中的设置 3. PhantomJS中的设置 待续! ...
分类:
其他好文 时间:
2019-04-30 23:49:53
阅读次数:
1404
一 介绍 二 安装 三 基本使用 四 选择器 五 等待元素被夹在 元素交互操作 其他 项目联 一 介绍 二 安装 1、有界面浏览器 2、无界面浏览器 PhantomJS不再更新 #安装:selenium+phantomjs pip3 install selenium 下载phantomjs,解压后把 ...
分类:
其他好文 时间:
2019-04-24 12:07:55
阅读次数:
94
图片懒加载技术 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“ ...
分类:
编程语言 时间:
2019-04-21 12:44:20
阅读次数:
156
ubuntu下安装PhantomJS 1.下载: 32位:wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-i686.tar.bz2 64位:wget https://bitbucket.org/ar ...
分类:
Web程序 时间:
2019-04-16 16:15:12
阅读次数:
291
特点: 去重处理,结果监控,多进程处理,pyquery提取,错误重试,webUI管理,代码简洁,JS渲染 安装: anaconda里边没搜到pyspider,所以手动安装 查看pyspider的命令: 启动pyspider所有组件: 在启动之前,要先安装phantomjs浏览器,因为pyspider ...
分类:
其他好文 时间:
2019-04-01 17:19:27
阅读次数:
177
1. 安装phantomjs 下载地址:http://phantomjs.org/download.html 解压后将phantomjs.exe文件放到python根目录 2.安装pyspider pip install pyspider 运行:pyspider 或 pyspider all 提示报 ...
下载64位 phantomjs,我的机器是64位 解压文件 改名并移动到目录(根据个人行为爱好) 建立软连接 测试是否安装好(请重新打开一个终端) ok... ...
分类:
Web程序 时间:
2019-03-13 12:30:10
阅读次数:
172
问题:处理页面动态加载数据的爬取 selenium: 三方库,可以实现让浏览器完成自动化操作 - 环境搭建 1 安装: pip install selenium 2 获取浏览器的驱动程序 下载地址:http://chromedriver.storage.googleapis.com/index.ht ...
分类:
Web程序 时间:
2019-03-05 18:46:28
阅读次数:
229