在 Linux 内核中诊断网络问题
几周前，我们开始注意位于华盛顿的追踪api的服务器网络流量有很大的变化。从一个相当稳定的日常模式下，我们开始看到300-400 mbps尖峰流量，但我们的合法的流量（事件和人为更新）是不变的。
突然，我们的网络流量开始飙升像疯了似的。
找到虚假的流量来源是当务之急，因为这些尖峰流量正触发我们的上游路由器启动ddos减灾模式来阻止流量。
有一些很好的内置的linux工具帮助诊断网络问题。
ifconfig 会显示你的网络接口和多少数据包通过他们
ethtool -s 会显示你的数据包流的一些更详细的信息，象在nic级丢弃的数据包的数量。
iptables -l -v -n 将显示你的各种防火墙规则处理数据包数。
netstat -s 会告诉由内核网络协议栈维护的一大堆的计数器值，例如ack的数量，重发的数量等。
sysctl -a | grep net.ip 将显示你所有kernel中网络相关的设置。
tcpdump 将显示进出包的内容。
解决问题的线索是使用netstat -s命令的输出。 不幸的是，当你检查这个命令的输出的时候，还很难告诉这些数字意味着什么，应该是什么，以及它们是如何改变的。为了检查他们是如何变化的，我们创建了一个小程序来显示连续运行命令的输出，这让我们了解各种计数器变化的快慢。一个输出线看起来特别令人担忧。
此计数器的通常速率在未受影响的服务器上一般是 30-40 /秒，所以我们知道肯定是哪里出问题了。计数器表明我们正拒绝大量的包，因为这些包含有无效的 tcp 时间戳。临时的快速解决方案是用下面的命令关闭 tcp 时间戳：
?
1
sysctl -w net.ipv4.tcp_timestamps=0
这立即导致了包风暴停止。但是这不是一个永久性的解决方案，因为 tcp 时间戳是用于测量往返时间和分配数据包流中的延迟包到正确位置。在高速连接的时候这将成为一个问题，tcp 序列号可能在数秒间隔内缠绕。关于 tcp 的时间戳和性能的详细信息，请看 rfc 1323。
在 mixpanel，每当我们看到异常流量模式的时候，我们一般也运行 tcpdump，这样我们能够分析流量，然后试图确定根本原因。我们发现大量的 tcp ack 数据包在我们的 api 服务器和一个特定的 ip 地址之间来回发送。结果我们的服务器陷入到向另一台服务器来来回回发送 tcp ack 包的无限循环里面。一个主机持续地发出 tcp 时间戳，但是另一主机却不能识别这是有效的时间戳。
这时，我们意识到我们正在处理一个只能在 linux 内核的 tcp 协议栈才能解决问题。所以我们的 cto求助于 linux-netdev 看看是否能找到一个解决方案。值得庆幸的是我们发现这个问题已经遇到过的，并且有一个解决方案。原来，这种类型的包风暴可以由一些硬件故障或第三方改变 tcp seq，ack，或连接中的主机认为对方发送过期的数据包所触发。避免让这种情况变成一个包风暴的方法是限制速度，设置 linux 发送重复的 ack 数据包速度为每秒一个或两个。这里有一个非常好的解释。
我们将接受这个补丁而且将之移植到当前正在使用的ubuntu（trusty）内核当中。感谢ubuntu让这一切变得非常简单，重新编译修补过的内核仅仅只需要运行下面的命令，安装生成的.deb包并重启系统。
?
1
2
3
4
5
6
7
8
9
10
11
# get the kernel source and build dependencies
apt-get build-dep linux-image-3.13.0-45-generic
apt-get source linux-image-3.13.0-45-generic
# apply the patch file.
cd linux-lts-trusty-3.13.0/
patch -p1 < mitigate-tcp-ack-loops.patch
# build the kernel
fakeroot ./debian/rules clean
fakeroot ./debian/rules binary-headers binary-generic
电源设计中的电容选用规则
转换开关的型号及含义
微雪电子RS485转以太网模块介绍
MacBook Pro官方翻新：价格均过万
十年云深时：天翼云的成长密钥
在 Linux 内核中诊断网络问题
东芝将推出样品交付周期较短的新款结构化阵列
VR技术用于汽车领域，带来了什么优势
不同外壳材质的防静电设计技巧
全方位完美组合：FLIR创新型热成像解决方案
Apple将在下一代pencil的笔尖上集成一个微型相机
中国下一代通信标准TDD-LTE的命运
百度合作现代，加速行业“AI＋汽车”的进程
中小企业发展战略：寻找相匹配的供应商，让其成为重要推动力
世界技能大赛官方指定同款福禄克工具 特惠价格来啦！
《猎鹰翱翔》今日正式登陆HTC Vive平台
为什么此次新冠肺炎的治疗中呼吸机必不可少
手机品牌Realme发布真我V15手机
滚柱直线导轨生锈怎么办？
隔膜不锈钢压力表的安装方法与步骤
突然，我们的网络流量开始飙升像疯了似的。
找到虚假的流量来源是当务之急，因为这些尖峰流量正触发我们的上游路由器启动ddos减灾模式来阻止流量。
有一些很好的内置的linux工具帮助诊断网络问题。
ifconfig 会显示你的网络接口和多少数据包通过他们
ethtool -s 会显示你的数据包流的一些更详细的信息，象在nic级丢弃的数据包的数量。
iptables -l -v -n 将显示你的各种防火墙规则处理数据包数。
netstat -s 会告诉由内核网络协议栈维护的一大堆的计数器值，例如ack的数量，重发的数量等。
sysctl -a | grep net.ip 将显示你所有kernel中网络相关的设置。
tcpdump 将显示进出包的内容。
解决问题的线索是使用netstat -s命令的输出。 不幸的是，当你检查这个命令的输出的时候，还很难告诉这些数字意味着什么，应该是什么，以及它们是如何改变的。为了检查他们是如何变化的，我们创建了一个小程序来显示连续运行命令的输出，这让我们了解各种计数器变化的快慢。一个输出线看起来特别令人担忧。
此计数器的通常速率在未受影响的服务器上一般是 30-40 /秒，所以我们知道肯定是哪里出问题了。计数器表明我们正拒绝大量的包，因为这些包含有无效的 tcp 时间戳。临时的快速解决方案是用下面的命令关闭 tcp 时间戳：
?
1
sysctl -w net.ipv4.tcp_timestamps=0
这立即导致了包风暴停止。但是这不是一个永久性的解决方案，因为 tcp 时间戳是用于测量往返时间和分配数据包流中的延迟包到正确位置。在高速连接的时候这将成为一个问题，tcp 序列号可能在数秒间隔内缠绕。关于 tcp 的时间戳和性能的详细信息，请看 rfc 1323。
在 mixpanel，每当我们看到异常流量模式的时候，我们一般也运行 tcpdump，这样我们能够分析流量，然后试图确定根本原因。我们发现大量的 tcp ack 数据包在我们的 api 服务器和一个特定的 ip 地址之间来回发送。结果我们的服务器陷入到向另一台服务器来来回回发送 tcp ack 包的无限循环里面。一个主机持续地发出 tcp 时间戳，但是另一主机却不能识别这是有效的时间戳。
这时，我们意识到我们正在处理一个只能在 linux 内核的 tcp 协议栈才能解决问题。所以我们的 cto求助于 linux-netdev 看看是否能找到一个解决方案。值得庆幸的是我们发现这个问题已经遇到过的，并且有一个解决方案。原来，这种类型的包风暴可以由一些硬件故障或第三方改变 tcp seq，ack，或连接中的主机认为对方发送过期的数据包所触发。避免让这种情况变成一个包风暴的方法是限制速度，设置 linux 发送重复的 ack 数据包速度为每秒一个或两个。这里有一个非常好的解释。
我们将接受这个补丁而且将之移植到当前正在使用的ubuntu（trusty）内核当中。感谢ubuntu让这一切变得非常简单，重新编译修补过的内核仅仅只需要运行下面的命令，安装生成的.deb包并重启系统。
?
1
2
3
4
5
6
7
8
9
10
11
# get the kernel source and build dependencies
apt-get build-dep linux-image-3.13.0-45-generic
apt-get source linux-image-3.13.0-45-generic
# apply the patch file.
cd linux-lts-trusty-3.13.0/
patch -p1 < mitigate-tcp-ack-loops.patch
# build the kernel
fakeroot ./debian/rules clean
fakeroot ./debian/rules binary-headers binary-generic
电源设计中的电容选用规则
转换开关的型号及含义
微雪电子RS485转以太网模块介绍
MacBook Pro官方翻新：价格均过万
十年云深时：天翼云的成长密钥
在 Linux 内核中诊断网络问题
东芝将推出样品交付周期较短的新款结构化阵列
VR技术用于汽车领域，带来了什么优势
不同外壳材质的防静电设计技巧
全方位完美组合：FLIR创新型热成像解决方案
Apple将在下一代pencil的笔尖上集成一个微型相机
中国下一代通信标准TDD-LTE的命运
百度合作现代，加速行业“AI＋汽车”的进程
中小企业发展战略：寻找相匹配的供应商，让其成为重要推动力
世界技能大赛官方指定同款福禄克工具 特惠价格来啦！
《猎鹰翱翔》今日正式登陆HTC Vive平台
为什么此次新冠肺炎的治疗中呼吸机必不可少
手机品牌Realme发布真我V15手机
滚柱直线导轨生锈怎么办？
隔膜不锈钢压力表的安装方法与步骤