除了Web网页，爬虫也可以对APP的数据进行抓取，APP中的页面要加载出来，首先需要获取数据，那么这些数据一般是通过请求服务器的接口来获取的，由于APP端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求，所以对APP来说，它的数据抓取主要用到一些抓包技术。本书介绍的抓包工具有Charles、MitmProxy、MitmDump，APP一些简单的接口我们通过Charles或MitmProxy
分类：
移动开发 时间：
2019-07-30 18:55:24
阅读次数：
127
MitmProxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。同时MitmProxy还有两个关联组件，一个是MitmDump，它是MitmProxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是MitmWeb，它是一个Web程序，通过它我们可以清楚地观察到MitmProxy捕获的请求
分类：
移动开发 时间：
2019-07-30 18:54:44
阅读次数：
161
mac 下mitmproxy和mitmdump的使用 mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。 mitmproxy还有两个关联组件。一个是mitmdump，它是mitmproxy的命令行接口，利用它我们可 ...
分类：
系统相关 时间：
2019-07-16 11:07:32
阅读次数：
115
修改request或者response内容 介绍 mitmdump无交互界面的命令，与python脚本对接，来源于mitmproxy支持inline script，这里的script指的是python脚本，inline script提供了http、Websocket、tcp等各个时间点事件（even ...
分类：
其他好文 时间：
2019-07-16 10:55:04
阅读次数：
197
首先附上github地址:https://github.com/mitmproxy/mitmprox，上面的内容永远是最新的 application/x-www-form-urlencodedform形式，提交的数据按照 key1=val1&key2=val2 的方式进行编码application/ ...
分类：
其他好文 时间：
2019-07-16 10:30:16
阅读次数：
85
1.安装环境： 2.安装mitmproxy 3.查看版本号 4.启动 5.设置代理 6.安装证书 ...
分类：
其他好文 时间：
2019-06-25 15:05:31
阅读次数：
90
环境搭建 Android模拟器安装 <! more 官网下载夜神模拟器安装 抓包工具安装 appium安装 "https://github.com/appium/appium desktop/releases/tag/v1.11.0" mitmproxy安装 下载安装包, 直接点击下一步即可安装 " ...
分类：
移动开发 时间：
2019-05-08 09:30:09
阅读次数：
478
1. 爬取前的分析 是mitmproxy的命令行接口，比Fiddler、Charles等工具方便的地方是它可以对接Python脚本。 有了它我们可以不用手动截获和分析HTTP请求和响应，只需写好 请求和响应 的处理逻辑即可。 它还可以实现数据的解析、存储等工作，这些过程都可以通过Python实现。 ...
分类：
移动开发 时间：
2019-03-12 09:27:36
阅读次数：
277
Bdfproxy（mitmproxy） 基于流量劫持动态注入shellcode（arp欺骗，dns欺骗，流氓ap） 步骤： 开启流量转发 sysctl -w net.ipv4.ip_forward=1 配置iptables策略 iptables -t nat -A PREROUTING -p tcp ...
分类：
系统相关 时间：
2019-03-05 18:45:03
阅读次数：
290
import pickle import chardet from mitmproxy import ctx from pprint import pprint heads_file = 'header.txt' body_file = 'body.txt' #mitmdump -s test.py... ...
分类：
其他好文 时间：
2019-01-25 17:48:02
阅读次数：
488
