java爬虫之使用HttpClient模拟浏览器发送请求方法详解

所属分类: 软件编程 / java 阅读数: 43
收藏 0 赞 0 分享

0. 摘要

0.1 添加依赖

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

0.2 代码

//1. 打开浏览器 创建httpclient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 输入网址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 发送请求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 响应结果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析结果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);

1. 实操

1.1 添加依赖

1.1.1 找到 pom.xml 添加依赖

1.1.2 依赖代码

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

1.2 添加 TestHttpClient 类

1.2.1 创建类文件 com.aifu.TestHttpClient

1.2.2 添加代码

public static void main(String[] args) throws IOException {
  //1. 打开浏览器 创建httpclient对象
  CloseableHttpClient httpClient = HttpClients.createDefault();
  //2. 输入网址
  HttpGet httpGet = new HttpGet("http://www.baidu.com");
  //3. 发送请求
  CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
  //4. 响应结果
  HttpEntity httpEntity = httpResponse.getEntity();
  //5. 解析结果
  String result = EntityUtils.toString(httpEntity, "utf-8");
  System.out.println(result);
}

1.3 运行

1.3.1 点击绿标运行 或者快捷键 ctrl + alt +F10

更多精彩内容其他人还在看

Java输入输出流复制文件所用时间对比

这篇文章主要介绍了Java输入输出流复制文件所用时间对比的相关资料,非常不错,具有参考解决价值,需要的朋友可以参考下
收藏 0 赞 0 分享

Java线程中start和run方法全面解析

这篇文章主要介绍了Java线程中start和run方法的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

Java的JSON处理器fastjson使用方法详解

下面小编就为大家带来一篇Java的JSON处理器fastjson使用方法详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

Java 二维码,QR码,J4L-QRCode 的资料整理

本文主要介绍Java 中二维码,QR码,J4L-QRCode,这里整理了详细的资料供大家学习参考关于二维码的知识,有需要的小伙伴可以参考下
收藏 0 赞 0 分享

java哈夫曼树实例代码

这篇文章主要为大家介绍了java哈夫曼树实例代码,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

Android读取本地或网络图片并转换为Bitmap

这篇文章主要为大家详细介绍了Android读取本地或网络图片,并转换为Bitmap,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

Java日期时间操作的方法

这篇文章主要为大家详细介绍了Java日期时间操作的一些方法,获得Calendar,定义日期/时间的格式等,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

java 获取路径的各种方法(总结)

下面小编就为大家带来一篇java 获取路径的各种方法(总结)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

java数据结构与算法之奇偶排序算法完整示例

这篇文章主要介绍了java数据结构与算法之奇偶排序算法,较为详细的分析了奇偶算法的原理并结合完整示例形式给出了实现技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

java数据结构与算法之双向循环队列的数组实现方法

这篇文章主要介绍了java数据结构与算法之双向循环队列的数组实现方法,结合实例形式分析了双向循环队列的原理与数组实现技巧,并附带说明了该算法的用途,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多