还是直接上代码 https://github.com/cclient/weizhishu-puppeteer 根据关键字获取微博指数 早期版本以常规的构造cookie,token,sign的访问api的方式实现，因官方改版失效 移动端web逆向反而比桌面端简单，并没有涉及到token,sign,ht ...
分类：
其他好文 时间：
2018-08-05 18:59:23
阅读次数：
313
puppeteer发布应该有一段时间了，这两天正好基于该工具写了一些自动化解决方案，在这里抛砖引给大家介绍一下。官方描述：Puppeteer is a Node library which provides a high-level API to control Chrome or Chromium... ...
分类：
其他好文 时间：
2018-07-26 18:22:34
阅读次数：
273
官网 api 与 教程： 第三方教程： 安装 Demo1： 打开百度并且截图 ...
分类：
Web程序 时间：
2018-07-14 20:33:38
阅读次数：
778
译者按： 本文通过简单的例子介绍如何使用Puppeteer来爬取网页数据，特别是用谷歌开发者工具获取元素选择器值得学习。 原文: A Guide to Automating & Scraping the Web with JavaScript (Chrome + Puppeteer + Node J ...
分类：
其他好文 时间：
2018-06-29 19:57:05
阅读次数：
168
前端测试现状 经常听到后端同学说“单元测试”，前端写过测试用例的有多少？答案是：并不多，为什么呢？两个主要原因 1、前端属于GUI软件，浏览器众多，兼容问题让人头大，用户量有一定规模的浏览器包括： IE8、IE9、IE10、IE11、chrome、FireFox、360浏览器、搜狗浏览器、QQ浏览器 ...
分类：
其他好文 时间：
2018-05-30 01:17:10
阅读次数：
420
大多数情况下，图片获取并不是很困难的事情，获取图片的url，然后模拟浏览器请求即可。但是，有的时候这种方法往往无法生效，常见的情形有： 这些情况下，使用puppeteer驱动chrome浏览器能看到图片，但获取url后单独请求时，要么获取到的图片无效，要么获取不到图片。本文这里就简单的介绍下一些十分 ...
分类：
其他好文 时间：
2018-05-20 20:39:22
阅读次数：
2037
本文以一个示例简单的介绍一下puppeteer的用法，我们的目的是：获取我博客上的文章的前十页的所有随笔的标题和链接。由于puppeteer本身是自动化chorme，因此这里我们的步骤和手动操作浏览器差不多： 获取信息 采集过程中比较麻烦的一步就是信息的采集，和传统采集html后解析的方式不同的时， ...
分类：
其他好文 时间：
2018-05-19 15:48:15
阅读次数：
1825
page对象是puppeteer最常用的对象，它可以认为是chrome的一个tab页，主要的页面操作都是通过它进行的。Google的官方文档详细介绍了page对象的使用，这里我只是简单的小结一下。 客户端模拟 页面模拟设置相关函数有如下几个， page.setViewport: 设置视图大小 pag... ...
分类：
其他好文 时间：
2018-05-19 13:59:28
阅读次数：
7563
puppeteergooglechrome团队出品的puppeteer是依赖nodejs和chromium的自动化测试库，它的最大优点就是可以处理网页中的动态内容，如JavaScript，能够更好的模拟用户。有些网站的反爬虫手段是将部分内容隐藏于某些javascript/ajax请求中，致使直接获取a标签的方式不奏效。甚至有些网站会设置隐藏元素“陷阱”，对用户不可见，脚本触发则认为是机器。这种情况
分类：
Web程序 时间：
2018-05-09 10:12:25
阅读次数：
290
关于热图 在网站分析行业中，网站热图能够很好的反应用户在网站的操作行为，具体分析用户的喜好，对网站进行针对性的优化，一个热图的例子（来源于ptengine） 上图中能很清晰的看到用户关注点在那，我们不关注产品中热图的功能如何，本篇文章就热图的实现做一下简单的分析和总结。 热图主流的实现方式 一般实现 ...
分类：
其他好文 时间：
2018-05-08 20:10:23
阅读次数：
398
