今天在干坏事抓取别人页面时候遇到一个问题，平时我们在post数据后，大不了要求提交cookie，但是今天这个测试了N遍不需要coookie都行的，但是抓取到的始终是乱码，怎么解析都不行。于是自己又把cookie和一大堆header给加上，还是同样的问题，于是开始郁闷了。PHP脚本不行，但是同样的提交 ...
分类：
Web程序 时间：
2017-02-17 23:26:26
阅读次数：
234
以PHP代码为例 //这个是解析chuned块 get_chunk_data($fsock) { $data = ''; while(true) { $len = hexdec(fgets($fsock)); if($len == 0) { if(fgets($fsock) == "\r\n") b ...
分类：
Web程序 时间：
2017-02-17 23:03:59
阅读次数：
220
最近在模拟HTTP请求抓取数据，但是服务器是asp.net开发的 分页控件代码 点击下一页其实是调用js方法 通过抓包拼接请求postdata 结果服务器返回 坑爹的，根本获取不到想要的第二页数据 ...
分类：
编程语言 时间：
2016-12-29 20:00:51
阅读次数：
920
上周写了一个腾讯旗下的一个小说网站的自动回帖程序： 具体怎么实现的呢？ 其实它就是一个，找到评论接口，然后利用程序模拟HTTP请求的过程。再结合爬虫的相关技术具体实现。 大概分为这么几步： 第一步：先找到评论接口： 使用chrome或者火狐浏览器，或者专业点的fiddler对评论过程抓包 得到具体的 ...
分类：
Web程序 时间：
2016-12-02 03:06:06
阅读次数：
364
最近的工作一直是关于模拟http请求方面的知识的。 原本以为很简单，就是简单模拟一下http请求。先用fiddler模拟一下请求，验证接口可用，就直接上代码。 但是在模拟一个联通http的请求时候，我就遇到难点了，首先要进入别人的网站，必须要注册账号登录才行。 所以以前简单的登录根本就没有涉及到什么 ...
分类：
Web程序 时间：
2016-11-23 12:35:11
阅读次数：
290
提交http请求之python与curl由于Openstack是python实现wsgi的RESTful架构，在学习和调试的过程中，常常会遇到http请求的提交，于是顺手整理下python和curl命令的提交方法。1.Python篇在python中有过爬虫经验当然很简单，一个requests库的问题，比urllib这些好用。importrequest..
分类：
Web程序 时间：
2016-11-10 07:51:53
阅读次数：
244
前言：最近，讨论到数据库安全的问题，于是就引出了WebApi服务没有加任何验证的问题。也就是说，任何人只要知道了接口的url，都能够模拟http请求去访问我们的服务接口，从而去增删改查数据库，这后果想想都恐怖。经过一番折腾，总算是加上了接口的身份认证，在此记录下，也给需要做身份认证的园友们提供参考。 ...
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练 ...
分类：
Web程序 时间：
2016-10-25 14:06:35
阅读次数：
197
我在这里终结了三种方法 第一种方法：fsockopen 第二种方法：stream_context_create() 第三种方法：curl post.php文件 结果 ...
分类：
Web程序 时间：
2016-09-11 10:18:21
阅读次数：
251
