开源 企业版 高校版 私有云 模力方舟 AI 队友
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
1 Star 0 Fork 0

雨翔河/CommonTool

加入 Gitee
与超过 1400万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
已有帐号? 立即登录
文件
master
分支 (1)
master
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
项目仓库所选许可证以仓库主分支所使用许可证为准
master
分支 (1)
master
克隆/下载
克隆/下载
提示
下载代码请复制以下命令到终端执行
为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置
初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置
1 生成 RSA 密钥
2 获取 RSA 公钥内容,并配置到 SSH公钥
在 Gitee 上使用 SVN,请访问 使用指南
使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议 配置并使用私人令牌 替代登录密码进行克隆、推送等操作
Username for 'https://gitee.com': userName
Password for 'https://userName@gitee.com': # 私人令牌
master
分支 (1)
master
CommonTool
/
HCRequestUtil.java
CommonTool
/
HCRequestUtil.java
HCRequestUtil.java 7.23 KB
一键复制 编辑 原始数据 按行查看 历史
雨翔河 提交于 2018年03月20日 17:09 +08:00 . add HCRequestUtil
package com.xiaoniu66.webmagic.tianyancha.util;
import com.xiaoniu66.webmagic.tianyancha.bean.ProxyBean;
import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.config.SocketConfig;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.message.BasicNameValuePair;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;
/**
* Highly Concurrent Request Util
* Created by hxy on 2018年3月20日.
*/
public class HCRequestUtil {
public static final HCRequestUtil ME = new HCRequestUtil();
private final static PoolingHttpClientConnectionManager httpClientConnectionManager = new PoolingHttpClientConnectionManager();
private final static int socketTimeOutSeconds = 6; //socket读数据超时时间:从服务器获取响应数据的超时时间
private final static int soLingerSeconds = 6; //关闭Socket时,要么发送完所有数据,要么等待soLingerSeconds后,就关闭连接,此时socket.close()是阻塞的
private final static int maxTotal = 300; //设置连接池的最大连接数
private final static int defaultMaxPerRoute = 256; //路由的默认最大连接
private final static int connectTimeoutSeconds = 6; //与服务器连接超时时间:httpclient会创建一个异步线程用以创建socket连接,此处设置该socket的连接超时时间
private final static int connectionRequestTimeoutSeconds = 6; //从连接池中获取连接的超时时间
private final static int connectionTimeToLiveSeconds = 6; //为持久链接设置的最大生存时间
private HCRequestUtil() {
}
static {
httpClientConnectionManager.setMaxTotal(maxTotal);
httpClientConnectionManager.setDefaultMaxPerRoute(defaultMaxPerRoute);
final int socketTimeout = socketTimeOutSeconds * 1000;
SocketConfig socketConfig = SocketConfig.custom().setSoTimeout(socketTimeout).setSoKeepAlive(false).setSoLinger(soLingerSeconds).build();
httpClientConnectionManager.setDefaultSocketConfig(socketConfig);
}
/**
* post 请求,使用时切记要关闭 HttpResponse
*
* @param url url
* @param headers headers
* @param params params
* @param proxyBean proxyBean
* @return HttpResponse
*/
public HttpResponse POST(String url, Map<String, String> headers, Map<String, String> params, ProxyBean proxyBean) {
try {
RequestConfig.Builder builder = RequestConfig.custom();
builder.setSocketTimeout(socketTimeOutSeconds * 1000)
.setConnectTimeout(connectTimeoutSeconds * 1000)
.setConnectionRequestTimeout(connectionRequestTimeoutSeconds * 1000);
if (proxyBean != null) {
HttpHost httpHost = new HttpHost(proxyBean.getIp(), proxyBean.getPort());
builder.setProxy(httpHost);
}
RequestConfig defaultRequestConfig = builder.build();
HttpClientBuilder httpClientBuilder = HttpClients.custom()
.setConnectionManager(httpClientConnectionManager)
.setDefaultRequestConfig(defaultRequestConfig)
.setConnectionTimeToLive(connectionTimeToLiveSeconds * 1000, TimeUnit.MILLISECONDS)
.disableAutomaticRetries(); //禁止自动重试
if (proxyBean != null && proxyBean.getUsername() != null) {
CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
credentialsProvider.setCredentials(
AuthScope.ANY,
new UsernamePasswordCredentials(proxyBean.getUsername(), proxyBean.getUsername()));
httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
}
HttpPost httpPost = new HttpPost(url);
if (headers != null && !headers.isEmpty()) {
for (String key : headers.keySet()) {
String value = headers.get(key);
httpPost.addHeader(key, value);
}
}
if (params != null && !params.isEmpty()) {
List<NameValuePair> nameValuePairs = new ArrayList<>();
for (String key : params.keySet()) {
String value = params.get(key);
nameValuePairs.add(new BasicNameValuePair(key, value));
}
httpPost.setEntity(new UrlEncodedFormEntity(nameValuePairs));
}
return httpClientBuilder.build().execute(httpPost);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
/**
* post 请求,使用时切记要关闭 HttpResponse
*
* @param url url
* @param headers headers
* @param proxyBean proxyBean
* @return HttpResponse
*/
public HttpResponse GET(String url, Map<String, String> headers, ProxyBean proxyBean) {
try {
RequestConfig.Builder builder = RequestConfig.custom();
builder.setSocketTimeout(socketTimeOutSeconds * 1000)
.setConnectTimeout(connectTimeoutSeconds * 1000)
.setConnectionRequestTimeout(connectionRequestTimeoutSeconds * 1000);
if (proxyBean != null) {
HttpHost httpHost = new HttpHost(proxyBean.getIp(), proxyBean.getPort());
builder.setProxy(httpHost);
}
RequestConfig defaultRequestConfig = builder.build();
HttpClientBuilder httpClientBuilder = HttpClients.custom()
.setConnectionManager(httpClientConnectionManager)
.setDefaultRequestConfig(defaultRequestConfig)
.setConnectionTimeToLive(connectionTimeToLiveSeconds * 1000, TimeUnit.MILLISECONDS)
.disableAutomaticRetries();
if (proxyBean != null && proxyBean.getUsername() != null) {
CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
credentialsProvider.setCredentials(
AuthScope.ANY,
new UsernamePasswordCredentials(proxyBean.getUsername(), proxyBean.getUsername()));
httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
}
HttpGet httpGet = new HttpGet(url);
for (String key : headers.keySet()) {
String value = headers.get(key);
httpGet.addHeader(key, value);
}
return httpClientBuilder.build().execute(httpGet);
} catch (Exception e) {
e.printStackTrace();
return null;
}
}
}
Loading...
举报
举报成功
我们将于2个工作日内通过站内信反馈结果给你!
请认真填写举报原因,尽可能描述详细。
请选择举报类型
取消
发送
误判申诉

此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。

如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。

取消
提交

简介

取消

发行版

暂无发行版

贡献者

全部

近期动态

不能加载更多了
编辑仓库简介
简介内容
主页
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Java
1
https://gitee.com/Count/CommonTool.git
git@gitee.com:Count/CommonTool.git
Count
CommonTool
CommonTool
master
点此查找更多帮助

搜索帮助

评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册

AltStyle によって変換されたページ (->オリジナル) /