记一次Apache HTTP Client问题排查

chatgpt/2023/10/4 7:41:19

现象

通过日志查看，存在两种异常情况。
第一种：开始的时候HTTP请求会报超时异常。

762663363 [2023-07-21 06:04:25] [executor-64] ERROR - com.xxl.CucmTool - CucmTool|sendRisPortSoap error,url:https://xxxxxx/realtimeservice/services/RisPort
org.apache.http.conn.HttpHostConnectException: Connect to xxx [/xxx] failed: 连接超时

第二种：突然没有新的HTTP请求日志了，现象就是HTTP请求后，一直卡主，等待响应。

HTTP Client代码

先查看一下HTTP的请求代码
HTTP Client设置

private static CloseableHttpClient getHttpClient() {SSLContextBuilder builder = new SSLContextBuilder();CloseableHttpClient httpClient = null;try {builder.loadTrustMaterial(null, new TrustStrategy() {@Overridepublic boolean isTrusted(X509Certificate[] chain, String authType) throws CertificateException {return true;}});SSLConnectionSocketFactory sslsf = new SSLConnectionSocketFactory(builder.build(),SSLConnectionSocketFactory.ALLOW_ALL_HOSTNAME_VERIFIER);httpClient = HttpClients.custom().setSSLSocketFactory(sslsf).build();} catch (Exception e) {log.error("getHttpClient error:{}", e.getMessage(), e);}return httpClient;
}

请求方式（未设置http connection timeout 和 socket timeout)

HttpPost httpPost = new HttpPost(url);
try(CloseableHttpResponse response = getHttpClient().execute(httpPost)) {HttpEntity httpEntity = response.getEntity();if (httpEntity != null) {System.out.println(EntityUtils.toString(httpEntity, "UTF-8"));}
} catch (Exception e) {log.error("test,url:" + url, e);
}

进一步分析

连接超时

通过本地debug先找到了socket连接处的代码，如下所示。
socket连接请求在java.net.Socket#connect(java.net.SocketAddress, int)这里

image.png

可以看到如果不设置connect timeout，在java层面默认是无限超时，那实际是要受系统层面影响的。我们都知道TCP建立连接的第一步是发送syn，实际这一步系统层面会有一些控制。

Linux环境

linux下通过net.ipv4.tcp_syn_retries控制sync的超时情况

Number of times initial SYNs for an active TCP connection attempt will be retransmitted. Should not be higher than 127. Default value is 6, which corresponds to 63seconds till the last retransmission with the current initial RTO of 1second. With this the final timeout for an active TCP connection attempt will happen after 127seconds.

默认重试次数为6次，重试的间隔时间从1s开始每次都翻倍，6次的重试时间间隔为1s, 2s, 4s, 8s, 16s，32s, 总共63s，第6次发出后还要等64s都知道第6次也超时了，所以，总共需要 1s + 2s + 4s+ 8s+ 16s + 32s + 64 = 127 s，TCP才会把断开这个连接。
第 1 次发送 SYN 报文后等待 1s（2 的 0 次幂），如果超时，则重试
第 2 次发送后等待 2s（2 的 1 次幂），如果超时，则重试
第 3 次发送后等待 4s（2 的 2 次幂），如果超时，则重试
第 4 次发送后等待 8s（2 的 3 次幂），如果超时，则重试
第 5 次发送后等待 16s（2 的 4 次幂），如果超时，则重试
第 6 次发送后等待 32s（2 的 5 次幂），如果超时，则重试
第 7 次发送后等待 64s（2 的 6 次幂），如果超时，则断开这个连接。

mac环境

mac场景下是通过net.inet.tcp.keepinit参数控制syn超时（默认是75s)。
可以通过下面的命令查看

sysctl -A |grep net.inet.tcp.keepinit

net.inet.tcp.keepinit: 75000
通过telnet验证，确实是75s超时

image.png
tcpdump抓包也可以看到一直进行syn重试。

image.png

读取超时

Apache Http Client 默认的socket read timeout 是0。
image.png
image.png
通过代码注释可以看到，如果soTimeout是0的话，就意味着读取超时不受限制，但是实际上这里也会有系统层面的控制，下面从HTTP层面和TCP层面做一下分析。

HTTP Keep-alive

首先，Apache httpClient 4.3版本中，如果请求中未做制定，那么默认会使用HTTP 1.1，代码如下。

public static ProtocolVersion getVersion(HttpParams params) {Args.notNull(params, "HTTP parameters");Object param = params.getParameter("http.protocol.version");return (ProtocolVersion)(param == null ? HttpVersion.HTTP_1_1 : (ProtocolVersion)param);
}

对于HTTP 1.1版本来说，默认会开启Keep-alive，并使用默认的keep-alive策略。

public class DefaultConnectionKeepAliveStrategy implements ConnectionKeepAliveStrategy {public static final DefaultConnectionKeepAliveStrategy INSTANCE = new DefaultConnectionKeepAliveStrategy();public long getKeepAliveDuration(final HttpResponse response, final HttpContext context) {Args.notNull(response, "HTTP response");final HeaderElementIterator it = new BasicHeaderElementIterator(response.headerIterator(HTTP.CONN_KEEP_ALIVE));while (it.hasNext()) {final HeaderElement he = it.nextElement();final String param = he.getName();final String value = he.getValue();if (value != null && param.equalsIgnoreCase("timeout")) {try {return Long.parseLong(value) * 1000;} catch(final NumberFormatException ignore) {}}}return -1;}}

其基本原理就是HTTP场景下，当客户端与服务端建立TCP连接以后，Httpd守护进程会通过keep-alive timeout时间设置参数，一个http产生的tcp连接在传送完最后一个响应后，如果守护进程在这个keepalive_timeout里，一直没有收到浏览器发过来http请求，则关闭这个http连接。
这里有两点要注意：

  • 可以看到keep-alive的超时时间是服务端返回时，http client在响应头中解析到的。如果一直未收到服务端响应，那么客户端会认为keep-alive一直有效；-1的返回值也是如此。
  • 如果服务端有响应，如果服务端有响应，那么就会按照服务端的返回设置keep-alive的timeout，当timeout到期后，就会从http client pool中移除，服务端关闭该TCP连接。

下面是一个成功的HTTP client响应信息，可以看到服务端给出的keep-alive时间是60s。

image.png
image.png

后续对于这个连接不做任何处理，可以看到60s以后断开了连接。

image.png

TCP下的keep-alive机制

TCP连接建立之后，如果某一方一直不发送数据，或者隔很长时间才发送一次数据，当连接很久没有数据报文传输时如何去确定对方还在线，到底是掉线了还是确实没有数据传输，连接还需不需要保持，这种情况在TCP协议设计中keep-alive的目的。
TCP协议中，当超过一段时间之后，TCP自动发送一个数据为空的报文（侦测包）给对方，如果对方回应了这个报文，说明对方还在线，连接可以继续保持，如果对方没有报文返回，并且重试了多次之后则认为连接丢失，没有必要保持连接。
在Linux系统中有以下配置用于TCP的keep-alive。


tcp_keepalive_time=7200：表示保活时间是 7200 秒（2小时），也就 2 小时内如果没有任何连接相关的活动，则会启动保活机制
tcp_keepalive_intvl=75：表示每次检测间隔 75 秒；
tcp_keepalive_probes=9：表示检测 9 次无响应，认为对方是不可达的，从而中断本次的连接。

也就是说在 Linux 系统中，最少需要经过 2 小时 11 分 15 秒才可以发现一个「死亡」连接。

在MAC下对应的配置如下(单位为ms)


net.inet.tcp.keepidle: 7200000
net.inet.tcp.keepintvl: 75000
net.inet.tcp.keepcnt: 3

也就是说在Mac系统中，最少经过2小时3分钟45秒才可以发现一个「死亡」连接。

对于TCP的keep-alive是默认关闭的，可以通过应用层面打开。
对于Java应用程序，默认是关闭的，后面我们模拟在客户端开启该配置。

public static final SocketOption SO_KEEPALIVE
Keep connection alive.
The value of this socket option is a Boolean that represents whether the option is enabled or disabled. When the SO_KEEPALIVE option is enabled the operating system may use a keep-alive mechanism to periodically probe the other end of a connection when the connection is otherwise idle. The exact semantics of the keep alive mechanism is system dependent and therefore unspecified.
The initial value of this socket option is FALSE. The socket option may be enabled or disabled at any time.

首先，修改mac的keep-alive设置，将时间调短一些。

sysctl -w net.inet.tcp.keepidle=60000 net.inet.tcp.keepcnt=3 net.inet.tcp.keepintvl=10000

net.inet.tcp.keepidle: 60000
net.inet.tcp.keepintvl: 10000
net.inet.tcp.keepcnt: 3

依然通过HTTP Client开启keep alive配置

SocketConfig socketConfig = SocketConfig.DEFAULT;
SocketConfig keepAliveConfig = SocketConfig.copy(socketConfig).setSoKeepAlive(true).build();
httpClient = HttpClients.custom().setSSLSocketFactory(sslsf).setDefaultSocketConfig(keepAliveConfig).build();

通过HTTP Client请求服务端一个耗时很长的接口，并通过TCP抓包可以看到以下内容
每隔60s，客户端会向服务端发送保活的连接。

image.png
再来验证一下，如果服务端此时不可用的情况。
使用pfctl工具，模拟服务端不可达。
可以看到客户端每隔10s，累计尝试3次，然后就会关闭该连接。

image.png

image.png

image.png

回归问题

连接超时问题

此时服务器因为个别原因，无法正常连接。
由于HTTP Client未设置对应的超时时间，所以会依据系统的net.ipv4.tcp_syn_retries进行重试。
该异常客户端可以感知到。

请求卡主问题

当某个时间HTTP Client与服务器建立的正常的TCP连接后，服务器发生了异常，此时由于以下原因叠加

  • HTTP Client未设置socket读取超时时间
  • HTTP keep-alive也由于服务端未响应默认不受限制
  • 另外TCP层面的keep alive也没有手动开启

所以此时客户端会一直持有该TCP连接等待服务器响应。对应到下图的话，也就是橙色部分。

image.png
当然最直接的解决方案就是设置socket read timeout时间即可。

RequestConfig requestConfig = RequestConfig.custom().setConnectionRequestTimeout(1000).setSocketTimeout(1000).setConnectTimeout(1000).build();
httpPost.setConfig(requestConfig);

当时间到了会报read timeout 异常。

image.png

总结

  • 当我们使用HTTP Client的时候，需要结合业务需要合理设置connect timeout和 socket timeout参数。
  • 当进行问题追踪时，需要利用HTTP和TCP的一些知识，以及tcpdump等抓包工具进行问题验证。

参考文档

【1】 一文说清楚 Linux TCP 内核参数_linux tcp参数_DBA大董的博客-CSDN博客
【2】 服务端挂了，客户端的 TCP 连接还在吗？
【3】JAVA socket keep alive 说明https://docs.oracle.com/javase/8/docs/api/java/net/StandardSocketOptions.html#SO_KEEPALIVE

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.exyb.cn/news/show-5313755.html

如若内容造成侵权/违法违规/事实不符，请联系郑州代理记账网进行投诉反馈，一经查实，立即删除！

相关文章

python实现批量翻译——你不会还在一个个翻译吧

python实现批量翻译——你不会还在一个个翻译吧

python实现翻译 translate语句文本 google translate 语句 import pandas as pd from translate import Translator translator Translator(to_lang"zh") translation translator.translate("Hello") translation 文本 # 批量翻译 from pygtrans impo…
阅读更多...
【Linux 网络】 HTTPS协议原理 对称加密 非对称加密 数字证书

【Linux 网络】 HTTPS协议原理 对称加密 非对称加密 数字证书

HTTPS协议 HTTPS协议和HTTP协议的区别什么是“加密” 和“解密”加密和解密的小故事 为什么要进行加密？臭名昭著的“运营商劫持”事件 常见加密方式对称加密非对称加密 数据摘要数字签名 HTTPS工作过程探究方案 1 ： 只使用对称加密方案2 ： 只…
阅读更多...
游戏引擎：打造梦幻游戏世界的秘密武器

游戏引擎：打造梦幻游戏世界的秘密武器

介绍 游戏引擎是游戏开发中不可或缺的工具，它为开发者提供了构建游戏世界所需的各种功能和工具。本文将介绍游戏引擎的概念、使用方法以及一个完整的游戏项目示例。 游戏引擎的概念 游戏引擎是一种软件框架，它提供了游戏开发所需的各种功能和工具&…
阅读更多...
在k8s集群内搭建Prometheus监控平台

在k8s集群内搭建Prometheus监控平台

基本架构 Prometheus由SoundCloud发布，是一套由go语言开发的开源的监控&报警&时间序列数据库的组合。 Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的…
阅读更多...
分布式缓存数据一致性-解决方案

分布式缓存数据一致性-解决方案

如果是用户维度，并发几率小（用户修改订单）。不需要考虑一致性问题，缓存数据加上过期时间，每隔一段时间出发读数据，主动更新缓存即可。（缓存过期删除数据，触发读请求主动更新&#xf…
阅读更多...
第五章 Opencv图像处理框架实战 5-3 图像阈值与平滑处理

第五章 Opencv图像处理框架实战 5-3 图像阈值与平滑处理

图像阈值 ret, dst cv2.threshold(src, thresh, maxval, type) src： 输入图，只能输入单通道图像，通常来说为灰度图 dst： 输出图 thresh： 阈值 maxval： 当像素值超过了阈值（或者小于阈值&am…
阅读更多...
螺旋矩阵(JS)

螺旋矩阵(JS)

螺旋矩阵 题目 给你一个正整数 n ，生成一个包含 1 到 n2 所有元素，且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 示例 1： 输入：n 3 输出：[[1,2,3],[8,9,4],[7,6,5]]示例 2： 输入&#xff…
阅读更多...
ubuntu22.0安装Barrier局域网共享鼠标键盘

ubuntu22.0安装Barrier局域网共享鼠标键盘

ubuntu22.0安装Barrier局域网共享鼠标键盘 参考网站安装步骤客户端一直开启中解决 参考网站 https://idroot.us/install-barrier-ubuntu-22-04/ 安装步骤 sudo apt update sudo apt upgrade sudo apt install wget apt-transport-https gnupg2 software-properties-common s…
阅读更多...
推荐文章

Copyright @ 2022~2023