当前位置:  开发笔记 > 后端 > 正文

java爬虫之使用HttpClient模拟浏览器发送请求方法详解

这篇文章主要介绍了java爬虫之使用HttpClient模拟浏览器发送请求方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

0. 摘要

0.1 添加依赖


  org.apache.httpcomponents
  httpclient
  4.5.2

0.2 代码

//1. 打开浏览器 创建httpclient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 输入网址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 发送请求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 响应结果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析结果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);

1. 实操

1.1 添加依赖

1.1.1 找到 pom.xml 添加依赖

1.1.2 依赖代码


  org.apache.httpcomponents
  httpclient
  4.5.2

1.2 添加 TestHttpClient 类

1.2.1 创建类文件 com.aifu.TestHttpClient

1.2.2 添加代码

public static void main(String[] args) throws IOException {
  //1. 打开浏览器 创建httpclient对象
  CloseableHttpClient httpClient = HttpClients.createDefault();
  //2. 输入网址
  HttpGet httpGet = new HttpGet("http://www.baidu.com");
  //3. 发送请求
  CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
  //4. 响应结果
  HttpEntity httpEntity = httpResponse.getEntity();
  //5. 解析结果
  String result = EntityUtils.toString(httpEntity, "utf-8");
  System.out.println(result);
}

1.3 运行

1.3.1 点击绿标运行 或者快捷键 ctrl + alt +F10

到此这篇关于java爬虫之使用HttpClient模拟浏览器发送请求方法详解的文章就介绍到这了,更多相关java爬虫HttpClient模拟浏览器发送请求内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

推荐阅读
coco2冰冰
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有