当林萧学会了模拟HTTP请求以后，原本以为自己已经完全hold住了整个需求，结果还没高兴多久，林萧就又遇到了问题。 网站在用户没登录的时候，是获取不到题目的，这尼玛怎么办？ 如果是一个经验丰富的程序员，很容易想到只需要模拟登陆一下就可以了，毕竟这些网站的登录还没有验证码一说。 但是林萧却不知道，模拟 ...
分类：
其他好文 时间：
2019-07-16 00:26:22
阅读次数：
103
Http请求指的是客户端向服务器的请求消息，Http请求主要分为get或post两种，在Linux系统下可以用curl和wget命令来模拟Http的请求。下面就来介绍一下Linux系统如何模拟Http的get或post请求。 一、get请求： 1、使用curl命令： curl “http://www ...
分类：
Web程序 时间：
2019-05-15 19:17:00
阅读次数：
190
一、Fiddler简介1.为什么是Fiddler?抓包工具有很多，小到最常用的web调试工具firebug，达到通用的强大的抓包工具wireshark。为什么使用fiddler?原因如下： A）Firebug虽然可以抓包，但是对于分析http请求的详细信息，不够强大。模拟http请求的功能也不够，且 ...
分类：
Web程序 时间：
2019-04-28 09:58:59
阅读次数：
151
package com.vcgeek.hephaestus.utils; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.Print... ...
分类：
编程语言 时间：
2019-03-22 17:12:56
阅读次数：
191
前言 因为接口是http的，我们站点是https的，不能https直接ajax请求http，所以需要在SharePoint中开发一个模拟请求Ajax的Service，分享一下。 ...
今天我们来完成一个小项目《实战爬虫》-爬取熊猫直播平台的数据。 爬虫到底是个怎么回事呢？ 爬虫，模拟网页发出抓取数据的请求，也就是一个抓取目标数据的一个过程。 过程: 模拟HTTP请求，向服务器发送这个请求，获取到服务器返回我们的HTML。 用正则表达式提取我们要的数据(名字+人气)。 所以，正则表 ...
分类：
其他好文 时间：
2018-12-30 20:40:23
阅读次数：
160
简介 cURL的 官方定义 为: ,即 使用URL语法规则来传输数据的命令行工具 。 PHP 支持 Daniel Stenberg 创建的 libcurl 库，能够连接通讯各种服务器、使用各种协议。libcurl 目前支持的协议有 http、https、ftp、gopher、telnet、dict、 ...
分类：
Web程序 时间：
2018-11-21 17:38:03
阅读次数：
334
一、socket介绍 参考链接一： "https://blog.csdn.net/Pk_zsq/article/details/6087367" 参考链接二： "https://blog.csdn.net/JenMinZhang/article/details/47017741" 二、python ...
分类：
Web程序 时间：
2018-11-15 21:12:53
阅读次数：
205
https://www.cnblogs.com/liwenzhou/articles/8620663.html 1.模拟Http请求通过socket 2.浏览器中输入 ip之后,打印data 得到的结果. 3. 分析数据 ...
分类：
其他好文 时间：
2018-11-11 12:15:53
阅读次数：
277
最近经常听说或者接触关于网络爬虫的问题，只是一直看到被人写的代码。而没有真正的做过实践， 昨天做了一下尝试，其中采用网络流行的扩展类库 http://html-agility-pack.net/?z=codeplex 遇到的问题是：部分网站禁止爬虫，或者有规则验证，无法通过模拟http 请求获取 h ...
分类：
Web程序 时间：
2018-09-07 20:07:45
阅读次数：
229
