博客
关于我
Java爬虫.HttpClient
阅读量:320 次
发布时间:2019-03-04

本文共 621 字,大约阅读时间需要 2 分钟。

1.HttpClient

网络爬虫就是用程序帮助我们访问网络上的资源。我们一直以来都是使用HTTP协议访问互联网的网页,网络爬虫需要编写程序,在这里使用相同的HTTP协议访问网页。

这里我们使用Java的HTTP协议客户端HttpClient这个技术,来实现抓取网页数据。

1.1 GET请求

访问csdn官网,请求url地址
https://www.csdn.net/

1.2 带参数的Get请求

在慕课网中搜索学习视频,地址为:
https://www.icourse163.org/search.htm?search=java#/
Ctrl+N 查找类

1.3 POST请求

使用POST请求访问CSDN官网
*仅一处变动:
创建HttpPost对象,设置url访问地址
HttpPost httpPost = new HttpPost(uriBuilder.build());

1.4 POST含参请求

在慕课网中使用POST含参请求搜索学习视频,地址为:
https://www.icourse163.org/search
url地址没有参数,参数search=java放在表单中进行提交

1.5 连接池

如果每次请求都要创建 HttpClient ,会有频繁创建和销毁的问题,可以使用连接池来解决。

1.6 请求参数

有时候因为网络,或者目标服务器的原因,请求需要更长的时间才能完成,我们需要自定义相关时间

转载地址:http://yqhq.baihongyu.com/

你可能感兴趣的文章
Mysql5.7版本单机版my.cnf配置文件
查看>>
mysql5.7的安装和Navicat的安装
查看>>
mysql5.7示例数据库_Linux MySQL5.7多实例数据库配置
查看>>
Mysql8 数据库安装及主从配置 | Spring Cloud 2
查看>>
mysql8 配置文件配置group 问题 sql语句group不能使用报错解决 mysql8.X版本的my.cnf配置文件 my.cnf文件 能够使用的my.cnf配置文件
查看>>
MySQL8.0.29启动报错Different lower_case_table_names settings for server (‘0‘) and data dictionary (‘1‘)
查看>>
MYSQL8.0以上忘记root密码
查看>>
Mysql8.0以上重置初始密码的方法
查看>>
mysql8.0新特性-自增变量的持久化
查看>>
Mysql8.0注意url变更写法
查看>>
Mysql8.0的特性
查看>>
MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看>>
MySQL8修改密码的方法
查看>>
Mysql8在Centos上安装后忘记root密码如何重新设置
查看>>
Mysql8在Windows上离线安装时忘记root密码
查看>>
MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案
查看>>
mysql8的安装与卸载
查看>>
MySQL8,体验不一样的安装方式!
查看>>
MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server
查看>>
Mysql: 对换(替换)两条记录的同一个字段值
查看>>