博客
关于我
Java爬虫.HttpClient
阅读量:320 次
发布时间:2019-03-04

本文共 621 字,大约阅读时间需要 2 分钟。

1.HttpClient

网络爬虫就是用程序帮助我们访问网络上的资源。我们一直以来都是使用HTTP协议访问互联网的网页,网络爬虫需要编写程序,在这里使用相同的HTTP协议访问网页。

这里我们使用Java的HTTP协议客户端HttpClient这个技术,来实现抓取网页数据。

1.1 GET请求

访问csdn官网,请求url地址
https://www.csdn.net/

1.2 带参数的Get请求

在慕课网中搜索学习视频,地址为:
https://www.icourse163.org/search.htm?search=java#/
Ctrl+N 查找类

1.3 POST请求

使用POST请求访问CSDN官网
*仅一处变动:
创建HttpPost对象,设置url访问地址
HttpPost httpPost = new HttpPost(uriBuilder.build());

1.4 POST含参请求

在慕课网中使用POST含参请求搜索学习视频,地址为:
https://www.icourse163.org/search
url地址没有参数,参数search=java放在表单中进行提交

1.5 连接池

如果每次请求都要创建 HttpClient ,会有频繁创建和销毁的问题,可以使用连接池来解决。

1.6 请求参数

有时候因为网络,或者目标服务器的原因,请求需要更长的时间才能完成,我们需要自定义相关时间

转载地址:http://yqhq.baihongyu.com/

你可能感兴趣的文章
Mysql 批量修改四种方式效率对比(一)
查看>>
Mysql 报错 Field 'id' doesn't have a default value
查看>>
MySQL 报错:Duplicate entry 'xxx' for key 'UNIQ_XXXX'
查看>>
Mysql 拼接多个字段作为查询条件查询方法
查看>>
mysql 排序id_mysql如何按特定id排序
查看>>
Mysql 提示:Communication link failure
查看>>
mysql 插入是否成功_PDO mysql:如何知道插入是否成功
查看>>
Mysql 数据库InnoDB存储引擎中主要组件的刷新清理条件:脏页、RedoLog重做日志、Insert Buffer或ChangeBuffer、Undo Log
查看>>
mysql 数据库中 count(*),count(1),count(列名)区别和效率问题
查看>>
mysql 数据库备份及ibdata1的瘦身
查看>>
MySQL 数据库备份种类以及常用备份工具汇总
查看>>
mysql 数据库存储引擎怎么选择?快来看看性能测试吧
查看>>
MySQL 数据库操作指南:学习如何使用 Python 进行增删改查操作
查看>>
MySQL 数据库的高可用性分析
查看>>
MySQL 数据库设计总结
查看>>
Mysql 数据库重置ID排序
查看>>
Mysql 数据类型一日期
查看>>
MySQL 数据类型和属性
查看>>
mysql 敲错命令 想取消怎么办?
查看>>
Mysql 整形列的字节与存储范围
查看>>