大网数据广告活动
Azure 网站与应用

排查 Azure 应用服务中的间歇性出站连接错误

· 52CE 我爱测

排查 Azure 应用服务中的间歇性连接错误和相关性能问题

本文帮助你排查 Azure 应用服务中的间歇性连接错误和相关性能问题。 本主题将提供有关源地址网络转换 (SNAT) 端口耗尽的详细信息及其故障排除方法。 如果在本文中有任何需要帮助的地方,请联系 MSDN Azure 和 Stack Overflow 论坛上的 Azure 专家。 或者,提交 Azure 支持事件。 请转到 Azure 支持站点并选择“获取支持”。

症状

托管在 Azure 应用服务中的应用程序和功能可能会出现以下一种或多种症状:

  • 服务计划中的所有或部分实例的响应速度缓慢。
  • 间歇性 5xx 错误或“错误的网关”错误
  • 超时错误消息
  • 无法连接到外部终结点(例如 SQLDB、Service Fabric、其他应用服务等)

原因

间歇性连接问题的主要原因是在建立新的出站连接时遇到限制。 可以命中的限制包括:

  • TCP 连接数:可以建立的出站连接数有限制。 对出站连接的限制与使用的辅助角色的大小关联。
  • SNAT 端口: Azure 中的出站连接 介绍 SNAT 端口限制以及它们如何影响出站连接。 Azure 使用源网络地址转换 (SNAT) 和负载均衡器 (不向客户公开,) 与公共 IP 地址进行通信。 最初为 Azure 应用服务中的每个实例预分配了 128 个 SNAT 端口。 SNAT 端口限制会影响与相同地址和端口组合的打开连接。 如果应用与混合的地址/端口组合建立了连接,则不会用尽 SNAT 端口。 重复调用同一个地址/端口组合时,会用尽 SNAT 端口。 释放某个端口以后,即可根据需要重复使用该端口。 只有在等待 4 分钟后,Azure 网络负载均衡器才会从关闭的连接回收 SNAT 端口。

当应用程序或功能快速打开新的连接时,它们可能很快就会耗尽预分配的配额(128 个端口)。 然后,应用程序或功能会一直受到阻止,直到通过动态分配额外的 SNAT 端口或者通过重复使用回收的 SNAT 端口提供了新的 SNAT 端口为止。 如果你的应用程序用完了 SNAT 端口,则会出现间歇性的出站连接问题。

避免问题

有一些解决方案可让你避免 SNAT 端口限制。 它们包括:

  • 连接池:通过将连接汇集在一起,你可以避免为对相同地址和端口的调用打开新的网络连接。
  • 服务终结点:对于使用服务终结点保护的服务,不具有 SNAT 端口限制。
  • 专用终结点:对于使用私有终结点保护的服务,不具有 SNAT 端口限制。
  • NAT 网关:使用 NAT 网关时,有64k 个出站 SNAT 端口可供通过它发送流量的资源使用。

避免 SNAT 端口问题意味着需要避免对同一主机和端口反复创建新连接。 连接池是解决该问题的更显而易见的方法之一。

如果你的目标是一个支持服务终结点的 Azure 服务,则可通过使用区域 VNet 集成和服务终结点或专用终结点来避免 SNAT 端口耗尽问题。 使用区域 VNet 集成并将服务终结点置于集成子网中时,发往这些服务的应用出站流量不会有出站 SNAT 端口限制。 同样,如果使用区域 VNet 集成和专用终结点,则不会有将流量发往该目标的出站 SNAT 端口的问题。

如果目标是 Azure 外部的外部终结点,则使用 NAT 网关会提供64k 的出站 SNAT 端口。 它还提供了不与任何人共享的专用出站地址。

如果可能,请改进代码以使用连接池,并避免整个情况。 并非始终能够足够快速地更改代码来缓解这种情况。 对于无法及时更改代码的情况,可以利用其他解决方案。 此问题的最佳解决方法是尽可能将所有解决方案组合在一起。 尝试将服务终结点和专用终结点用于 Azure 服务,并使用 NAT 网关进行 rest。

“Azure 的出站连接”文档的解决问题部分介绍了缓解 SNAT 端口耗尽问题的一般策略。 这些策略中的以下策略适用于托管在 Azure 应用服务中的应用和功能。

修改应用程序以使用连接池

下面是有关通过不同的解决方案堆栈实现连接池的链接集合。

节点

默认情况下,NodeJS 的连接不会保持活动状态。 下面是适用于连接池的常用数据库和包,其中包含有关如何实现它们的示例。

HTTP 保持活动状态

Java

下面是用于 JDBC 连接池的常用库,其中包含有关如何实现它们的示例:JDBC 连接池。

HTTP 连接池

PHP

尽管 PHP 不支持连接池,但你可以尝试使用到后端服务器的持久数据库连接。

修改应用程序以重复使用连接

修改应用程序以使用主动性较低的重试逻辑

使用 keepalive 重置出站空闲超时

特定于应用服务的其他指导:

  • 负载测试应以稳定的供电速度模拟实际数据。 在真实环境中测试应用和功能可以提前识别和解决 SNAT 端口耗尽问题。
  • 确保后端服务可以快速返回响应。 若要排查 Azure SQL 数据库的性能问题,请查看使用智能见解排查 Azure SQL 数据库性能问题。
  • 将应用服务计划横向扩展为更多实例。 有关缩放的详细信息,请参阅缩放 Azure 应用服务中的应用。 应用服务计划中的每个辅助角色实例分配有多个 SNAT 端口。 如果将用量分散在多个实例之间,可能会使每个实例的 SNAT 端口用量不超过每个独特远程终结点的建议出站连接数限制(100 个)。
  • 考虑转移到应用服务环境 (ASE),其中分配了单个出站 IP 地址,且连接数和 SNAT 端口数限制要高得多。 在 ASE 中,每个实例的 SNAT 端口数基于 Azure 负载平衡器预先分配表 (例如,具有1-50 个工作线程实例的 ase)每个实例有1024个预分配端口,而具有51-100 辅助角色实例的 ase 的每个实例都有512个预分配端口。

避免超过出站 TCP 限制要更容易一些,因为这些限制是按辅助角色的大小设置的。 可以在沙盒跨 VM 数字限制 - TCP 连接中查看限制

限制名称 描述 小型 (A1) 中型 (A2) 大型 (A3) 隔离层 (ASE)
连接 整个 VM 的连接数 1920 3968 8064 16,000

若要避免超过出站 TCP 限制,可以增大辅助角色的大小,或者横向扩展。

疑难解答

了解两种类型的出站连接限制以及应用的作用后,应该就可以更轻松地进行故障排除。 如果你知道自己的应用对同一存储帐户发出许多调用,可以怀疑达到了 SNAT 限制。 如果应用完全通过 Internet 向终结点发出大量的调用,可以怀疑达到了 VM 限制。

如果你对应用程序的行为认识不充分,以致无法快速判断原因,可以借助应用服务中的某些工具和技术做出判断。

查找 SNAT 端口分配信息

你可以使用 应用服务诊断 来查找 snat 端口分配信息,并观察应用服务站点的 snat 端口分配指标。 若要查找 SNAT 端口分配信息,请执行以下步骤:

  1. 若要访问应用服务诊断,请在 Azure 门户中导航到你的应用服务 Web 应用或应用服务环境。 在左侧导航栏中,选择“诊断并解决问题”。
  2. 选择“可用性和性能”类别
  3. 在该类别下的可用磁贴列表中,选择“SNAT 端口耗尽”磁贴。 做法是将其保持在 128 以下。 如果确实需要,仍可以开具支持票证,支持工程师会从后端为你提取指标。

由于 SNAT 端口使用未作为指标提供,因此不能基于 SNAT 端口使用自动缩放,也不能基于 SNAT 端口分配指标配置自动缩放。

TCP 连接和 SNAT 端口

TCP 连接和 SNAT 端口并不直接相关。 任何应用服务站点的“诊断并解决问题”边栏选项卡中都包含了 TCP 连接用量检测程序。 搜索短语“TCP 连接”即可找到它。

  • SNAT 端口仅用于外部网络流,而 TCP 连接总数包括本地环回连接。
  • 如果协议、IP 地址或端口中的流不同,则一个 SNAT 端口可由不同的流共享。 TCP 连接指标统计每个 TCP 连接。
  • TCP 连接限制在辅助角色实例级别发生。 Azure 网络出站负载均衡不使用 TCP 连接指标来限制 SNAT 端口。
  • 沙盒跨 VM 数字限制 - TCP 连接中介绍了 TCP 连接限制
限制名称 描述 小型 (A1) 中型 (A2) 大型 (A3) 隔离层 (ASE)
连接 整个 VM 的连接数 1920 3968 8064 16,000

Web 作业和数据库连接

如果 SNAT 端口耗尽,导致 WebJobs 无法连接到 SQL 数据库,则不会有任何指标显示每个 Web 应用程序进程打开的连接数。 若要查找有问题的 Web 作业,请将多个 Web 作业移到另一个应用服务计划,以确定情况是否有所改善,或者某个计划中仍有问题。 重复该过程,直到找出有问题的 Web 作业。

更快地使用 SNAT 端口

无法更改任何 Azure 设置来更快地释放已用的 SNAT 端口,因为所有 SNAT 端口是根据下面的条件释放的,且该行为是有意设计的。

  • 如果服务器或客户端发送 FINACK,则会在 240 秒后释放 SNAT 端口。
  • 如果出现 RST,则会在 15 秒后释放 SNAT 端口。
  • 如果已达到空闲超时,则会释放端口。

其他信息

历史资料。此文对应 2022-08-12 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 v-miegge)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。

资料来源与适用范围

资料来源
Microsoft / Azure 中文运维文档历史快照
适用范围
历史中文快照 2022-08-12;详见原文产品版本;文档日期 11/19/2020
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。