码迷,mamicode.com
首页 > Web开发 > 详细

学习HttpClient,从两个小例子开始

时间:2018-07-20 00:25:44      阅读:225      评论:0      收藏:0      [点我收藏+]

标签:nsf   常见   源码下载   博客   tar   开发   完成后   post   lan   

前言

HTTP(Hyper-Text Transfer Protocol,超文本传输协议)在如今的互联网也许是最重要的协议,我们每天做的很多事情都与之有关,比如,网上购物、刷博客、看新闻等。偶尔你的上级还会安排任务给你让你去对接API接口(RESTFUL),你接到任务后,啪啪的敲了一行又一行代码,一遍敲着一遍心里骂着:这是谁设计的这样脑残接口,一点都不好用,对接起来非常麻烦,最终,你怀着极其复杂的心情把api对接完了。有一天你的上级叫你去开发一个API接口,你情绪高涨,把接口开发完了,结果......。在程序中使用RESTFUL API,与传统的webservice相比,耦合度更低,任何能使用http的地方都能使用RESTFUL API,你能在java、python中调用,甚至能在网页中使用ajax来调用。

HttpClient是Apache HttpComponents的一个组件,提供了用来发送HTTP请求和接受HTTP响应的组件库,它并不是一个浏览器,但是他实现了浏览器HTTP相关的功能。你能使用HttpClient来构建你所需要的应用,例如:网页爬虫、调用RESTFUL接口等。JDK提供的HttpURLConnection也支持HTTP特性,不过使用起来比较麻烦,为了能写入请求体和读取请求体,你不得不分别获取底层的InputStream和Outputstream,在流的角度上来进行操作。HttpClient使得这种操作非常简单,而且非常灵活易于扩展。为了增强趣味性,本文就HttpClient的一些较简单的实战,从两个例子开始来说明HttpClient API的使用。

环境准备

  • 本文使用的是JDK8,请确保安装了JDK8或者更高版本的JDK。
  • 为了能使用HttpClient,需要在maven中添加如下的依赖:
<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.6</version>
</dependency>
  • 在示例一中使用了jackson来解析JSON,需要加入如下的依赖包:
<dependency>
  <groupId>com.fasterxml.jackson.core</groupId>
  <artifactId>jackson-databind</artifactId>
  <version>2.9.6</version>
</dependency>
  • 在示例二中使用了jsoup来解析html文档,需要加入如下的依赖包:
<dependency>
  <groupId>com.fasterxml.jackson.core</groupId>
  <artifactId>jackson-databind</artifactId>
  <version>1.11.3</version>
</dependency>
  • 如果想要有日志输出则还需要添加log4j的日志依赖包,本文使用的是log4j2:
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.11.0</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>2.11.0</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-jcl</artifactId>
    <version>2.11.0</version>
</dependency>

例子1:从阿里云API接口获取天气预报信息

在java程序中调用第三方厂商提供的API接口是很常见的需求,假设要写一个程序,根据传入的城市名称来展示该城市当天的天气信息。当然要自己动手去测量天气信息,这应该不是一件简单的事情,但是我们可以借助其他的接口来查询天气信息。阿里云上的全国天气预报查询接口就挺好用的,而且还是免费的(不过限制只能调用一万次)。你首先需要购买该api接口,购买完成后,会得到一个appCode,有了这个appCode,你可以在上面在线调试该接口。博主自己已经购买了,各位可以使用博主的这个appCode。

public class WeatherQuery {
  
  static String appCode = "4073983cf899411a8792dec11dc88e43";

  static String url = "http://jisutqybmf.market.alicloudapi.com/weather/query";
  
  public static void main(String[] args) throws Exception {
    if (args.length != 1) {
      System.err.println("Usage: <city name>");
      System.exit(-1);
    }
    String charset = "utf-8";
    String encodedCityName = URLEncoder.encode(args[0], charset);
    CloseableHttpClient client = HttpClients.createDefault();
    try {
      HttpGet httpget = new HttpGet(url + "?city=" + encodedCityName);
      // add Authorized Header
      httpget.addHeader(new BasicHeader("Authorization", "APPCODE " + appCode));
      System.out.println("Executing request: " + httpget.getRequestLine());
      CloseableHttpResponse response = client.execute(httpget);
      try {
        System.out.println("-----------------------------------------");
        System.out.println(response.getStatusLine());
        String content = EntityUtils.toString(response.getEntity(), charset);
        System.out.println("Response: " + content);
        Map<String, ?> map = parseJson(content);
        Map<String, ?> weatherData = (Map<String, ?>) map.get("result");
        System.out.printf("%s  %s%n", weatherData.get("date"), weatherData.get("week"));
        System.out.printf("%s  %s  %s~%s℃    %s%s", weatherData.get("city"),  weatherData.get("weather"), 
            weatherData.get("templow"), weatherData.get("temphigh"), 
            weatherData.get("winddirect"), weatherData.get("windpower"));
      } finally {
        response.close();
      }
    } finally {
      client.close();
    }
  }
  
  static Map<String, ?> parseJson(String content) throws Exception {
    ObjectMapper objectMapper = new ObjectMapper();
    return objectMapper.readValue(content, Map.class);
  }
}

首先创建了一个HttpClient的实例,用来执行请求操作,创建了HttpGet的实例表示要发送的是GET请求,并在请求头中加入了app认证信息:httpget.addHeader(new BasicHeader("Authorization", "APPCODE " + appCode))response.getEntity()获取响应体信息,调用EntityUtils.toString工具类,将该响应体转换成字符串,接下来用Jackson解析返回的响应的JSON信息,用printf将获取到的天气信息输出到控制台。注意:要在try finally中关闭HttpClient和Response,以完成资源的释放。

执行命令来测试:% WeatherQuery 广州,产生了如下的输出:

2018-07-19  星期四
广州  多云  27~33℃    西南风1级

例子2:获取博客园精华文章

对爬取到的html进行解析是爬虫程序很关键的一环,接下来,看一下简单的html内容分析的例子:爬墙博客园首页的精华文章信息。和例一类似,首先需要创建一个HttpClient的思路,然后创建一个GET请求,执行请求获取响应体信息。为了能提取出精华文章信息,调用Jsoup.parse方法,该方法返回Document对象,调用该对象上的select,并传入CSS选择器相关的方法,选择出我们要提取的内容。

Document doc = Jsoup.parse(content);
Elements postItems = doc.select("#post_list .post_item");
System.out.printf("%-9s\t%-24s\t%s%n", "推荐数", "作者", "标题");
System.out.println("-----------------------------------------------------");
for (Element postItem : postItems) {
  String diggit = postItem.select(".diggit").text();
  String title = postItem.select(".post_item_body .titlelnk").text();
  String author = postItem.select(".post_item_foot .lightblue").text();
  System.out.printf("%-6s\t%-24s\t%s%n", diggit, author, title);
}

运行该程序得到的结果如下(省略掉了部分结果):

推荐数         作者                          标题
-----------------------------------------------------
334     小曾看世界                       通俗易懂,什么是.NET?什么是.NET Framework?什么是.NET Core?
109     陈树义                         藏在正则表达式里的陷阱
16      程序诗人                        你所不知道的日志异步落库

总结

本文通过两个简单的例子来说明了HttpClient的用法,当然这只是HttpClient的冰山一角,本文也不旨在全面较深入的介绍HttpClient,其更加高级的用法将在陆续的文章中进行介绍。来,总结下HttpClient的基本流程:

  1. 创建一个HttpClient的实例;
  2. HttpGet、HttpPost或者其他类似的请求对象,并设置请求头、请求体信息;
  3. 执行请求并返回Response的实例;
  4. 处理响应消息。

相关资源

学习HttpClient,从两个小例子开始

标签:nsf   常见   源码下载   博客   tar   开发   完成后   post   lan   

原文地址:https://www.cnblogs.com/zhangfengxian/p/learning-httpclient-from-two-examples.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!