标签:reduce 抓取 attach rip cer 目录 工具 网页数据 连接
对于分析网页或者写爬虫的时候经常需要用到抓包工具进行网页数据的抓包。在Windows下可以安装Fiddler来抓包。在ubuntun下不能直接安装Fiddler。需要先安装mono
1 首先安装mono环境:apt-get install mono-complete
2 下载一个最新的Fidder for mono.网址:http://fiddler.wikidot.com/mono。随便选择一个目录进行解压。然后进入到解压的目录。里面有一个Fiddler.exe文件
root@zhf-maple:/home/zhf/fiddler# ls -al
总用量 3008
drwxrwxr-x 5 zhf zhf 4096 1月 24 22:24 .
drwxr-xr-x 51 zhf zhf 4096 5月 12 13:36 ..
-rw-r--r-- 1 zhf zhf 324 7月 20 2013 attach.script
-rwxrwxr-x 1 zhf zhf 524288 6月 18 2013 BCMakeCert.dll
-rwxrwxr-x 1 zhf zhf 30208 6月 19 2013 CertMaker.dll
-rw-r--r-- 1 zhf zhf 98 7月 20 2013 detach.script
-rwxr-xr-x 1 zhf zhf 1017344 6月 14 2014 Fiddler.exe
drwxr-xr-x 2 zhf zhf 4096 6月 14 2014 ImportExport
drwxr-xr-x 2 zhf zhf 4096 6月 6 2014 Inspectors
-rwxr-xr-x 1 zhf zhf 253440 6月 6 2014 Ionic.Zip.Reduced.dll
-rw-rw-r-- 1 zhf zhf 1218617 1月 24 22:20 MonoFiddler-v4484.zip
drwxr-xr-x 2 zhf zhf 4096 6月 6 2014 Scripts
3 运行mono Fiddler.exe命令弹出fiddler界面。但是同时终端界面显示如下:
root@zhf-maple:/home/zhf/fiddler# mono Fiddler.exe
/usr/share/themes/ukui-theme/gtk-2.0/gtkrc:814: 找不到包含文件:“apps/caja.rc”
/usr/share/themes/ukui-theme/gtk-2.0/gtkrc:816: 找不到包含文件:“apps/ukuimenu.rc”
(process:23369): dconf-WARNING **: failed to commit changes to dconf: 连接已关闭
(process:23382): dconf-WARNING **: failed to commit changes to dconf: 连接已关闭
(process:23386): dconf-WARNING **: failed to commit changes to dconf: 连接已关闭
提示连接关闭。这里命令改用sudo mono Fiddler.exe就可以了。但是即使fiddler启动后也无法抓取网页的数据。这就需要第四步的设置
4 设置浏览器代理 fiddle是在本地的8888端口建立了一个代理。那么在firefox的设置里把http和https的代理也设置成127.0.0.1:8888。设置方法如下:
进入preferences选项找到Network Proxy,然后点击settings。如下图
手动配置代理。设置如下图。
点击OK后,此时fiddler就可以正常的抓取Firefox的数据了
标签:reduce 抓取 attach rip cer 目录 工具 网页数据 连接
原文地址:https://www.cnblogs.com/zhanghongfeng/p/9033524.html