修改nginx.conf，禁止网络爬虫的ua，返回403 添加agent_deny.conf配置文件 #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 i ...
分类：
其他好文 时间：
2020-02-12 18:38:56
阅读次数：
84
今天继续学习webmagic爬虫技术，组件包含： 1.Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面，抽取有用信息，以及 ...
分类：
其他好文 时间：
2020-02-11 00:30:29
阅读次数：
76
SolrJ 是操作 Solr 的 Java 客户端，它提供了增加、修改、删除、查询 Solr 索引的 Java 接口。SolrJ 针对 Solr 提供了 REST 的 Http 接口进行了封装， SolrJ 底层是通过使用 HttpClient 来完成 Solr 的操作。12345678910111... ...
分类：
其他好文 时间：
2020-02-09 09:36:35
阅读次数：
69
这个是C#5中的新特性，当遇到await时，会从线程池中取出一个线程异步执行await等待的操作，然后方法立即返回。等异步操作结束后回到await所在的地方接着往后执行。await需要等待async Task ...
1.HTTP与HTTPS区别 HTTP协议默认采用80端口 HTTPS协议默认采用443 HTTPS相较于HTTP协议更安全一些，采用SSL+安全证书，但是效率低 2.使用代码格式模拟HTTP请求（HTTPClient） 2.1 使用HttpClient模拟get请求 //get请求 public ...
分类：
Web程序 时间：
2020-02-06 14:28:28
阅读次数：
97
直接干货： public class HttpClientHelper { // <summary> /// post 请求 /// </summary> /// <param name="url"></param> /// <param name="xmlString"></param> /// ...
分类：
Web程序 时间：
2020-02-05 23:17:54
阅读次数：
122
依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency> <!-- https://m ...
分类：
Web程序 时间：
2020-02-05 20:34:44
阅读次数：
85
为什么会写这篇文章，起因于和朋友的聊天 这又触及到我的知识盲区了，首先来一波面向百度学习，直接根据关键字httpclient和okhttp的区别、性能比较进行搜索，没有找到想要的答案，于是就去overstackflow上看看是不是有人问过这个问题，果然不会让你失望的 所以从使用、性能、超时配置方面进 ...
分类：
Web程序 时间：
2020-02-05 11:49:26
阅读次数：
112
httpclient是一个客户端接口调用框架，实现了http协议的客户端接口调用技术，可以通过模拟测试工具发起接口请求，完成接口调用。 环境搭建：在pom.xml文件里面添加以下标签 <dependency> <groupId>org.apache.httpcomponents</groupId> ...
分类：
Web程序 时间：
2020-02-04 12:22:59
阅读次数：
74
jar包有：commons-httpclient-3.1，commons-io-2.4，commons-io-2.6，commons-lang-2.5，commons-logging-1.2，curvesapi-1.06，dom4j-2.1.0，ezmorph-1.0.3，fastjson-1.2. ...
分类：
编程语言 时间：
2020-02-01 16:08:10
阅读次数：
5528
