千兆网络测试

zlyzwy

家里布局千兆网络很久了，但是速度一直没上去。大概平时应用就是看看720P的电影，所以也没什么很大感觉，速度比百兆的时候好多了也就算了。
今天闲来无事，测试下千兆到底问题在哪里？也请大家帮我看看问题点～～～

先说说配置：
PC ONE：
硬盘：日立500G ×2 组Raid0，用的是HA04主板自带的控制器。
网卡：自带Marvell Yukon 88E8056 based Ethernet Controller
系统：WINXP
PC TWO:
硬盘：WD 绿盘 2T
网卡：自带Realtek千兆网卡
系统：WIN2003

交换机是WRT310N
网线是六类不带屏蔽双绞线

Ipfer的测试结果（server端在PC TWO上，PC ONE作为Client）

1. 通过交换机
bin/iperf.exe -c 192.168.1.20 -P 1 -i 5 -p 5001 -f M -n 2000000000 -r -L 5001
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.1.20, TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
[1852] local 192.168.1.148 port 2473 connected with 192.168.1.20 port 5001
[ ID] Interval       Transfer     Bandwidth
[1852]  0.0- 5.0 sec   138 MBytes  27.5 MBytes/sec
[1852]  5.0-10.0 sec   135 MBytes  27.0 MBytes/sec
[1852] 10.0-15.0 sec   128 MBytes  25.5 MBytes/sec
[1852] 15.0-20.0 sec   133 MBytes  26.6 MBytes/sec
[1852] 20.0-25.0 sec   137 MBytes  27.3 MBytes/sec
[1852] 25.0-30.0 sec   132 MBytes  26.3 MBytes/sec
[1852] 30.0-35.0 sec   129 MBytes  25.7 MBytes/sec
[1852] 35.0-40.0 sec   129 MBytes  25.8 MBytes/sec
[1852] 40.0-45.0 sec   132 MBytes  26.5 MBytes/sec
[1852] 45.0-50.0 sec   132 MBytes  26.4 MBytes/sec
[1852] 50.0-55.0 sec   132 MBytes  26.4 MBytes/sec
[1852] 55.0-60.0 sec   134 MBytes  26.7 MBytes/sec
[1852] 60.0-65.0 sec   133 MBytes  26.7 MBytes/sec
[1852] 65.0-70.0 sec   132 MBytes  26.5 MBytes/sec
[1852]  0.0-72.0 sec  1907 MBytes  26.5 MBytes/sec
[1944] local 192.168.1.148 port 5001 connected with 192.168.1.20 port 1034
[ ID] Interval       Transfer     Bandwidth
[1944]  0.0- 5.0 sec   260 MBytes  52.0 MBytes/sec
[1944]  5.0-10.0 sec   283 MBytes  56.6 MBytes/sec
[1944] 10.0-15.0 sec   280 MBytes  56.0 MBytes/sec
[1944] 15.0-20.0 sec   278 MBytes  55.6 MBytes/sec
[1944] 20.0-25.0 sec   261 MBytes  52.3 MBytes/sec
[1944] 25.0-30.0 sec   282 MBytes  56.4 MBytes/sec
[1944]  0.0-34.6 sec  1907 MBytes  55.1 MBytes/sec
Done.


2. 不通过交换机，双机直连
bin/iperf.exe -c 192.168.1.20 -P 1 -i 5 -p 5001 -f M -n 2000000000 -r -L 5001
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.1.20, TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
[1848] local 192.168.1.148 port 2970 connected with 192.168.1.20 port 5001
[ ID] Interval       Transfer     Bandwidth
[1848]  0.0- 5.0 sec   131 MBytes  26.3 MBytes/sec
[1848]  5.0-10.0 sec   132 MBytes  26.5 MBytes/sec
[1848] 10.0-15.0 sec   128 MBytes  25.6 MBytes/sec
[1848] 15.0-20.0 sec   130 MBytes  25.9 MBytes/sec
[1848] 20.0-25.0 sec   126 MBytes  25.1 MBytes/sec
[1848] 25.0-30.0 sec   133 MBytes  26.6 MBytes/sec
[1848] 30.0-35.0 sec   132 MBytes  26.4 MBytes/sec
[1848] 35.0-40.0 sec   130 MBytes  26.0 MBytes/sec
[1848] 40.0-45.0 sec   132 MBytes  26.3 MBytes/sec
[1848] 45.0-50.0 sec   133 MBytes  26.7 MBytes/sec
[1848] 50.0-55.0 sec   131 MBytes  26.2 MBytes/sec
[1848] 55.0-60.0 sec   132 MBytes  26.5 MBytes/sec
[1848] 60.0-65.0 sec   132 MBytes  26.3 MBytes/sec
[1848] 65.0-70.0 sec   134 MBytes  26.8 MBytes/sec
[1848]  0.0-72.8 sec  1907 MBytes  26.2 MBytes/sec
[1944] local 192.168.1.148 port 5001 connected with 192.168.1.20 port 1035
[ ID] Interval       Transfer     Bandwidth
[1944]  0.0- 5.0 sec   286 MBytes  57.1 MBytes/sec
[1944]  5.0-10.0 sec   284 MBytes  56.9 MBytes/sec
[1944] 10.0-15.0 sec   277 MBytes  55.5 MBytes/sec
[1944] 15.0-20.0 sec   286 MBytes  57.2 MBytes/sec
[1944] 20.0-25.0 sec   279 MBytes  55.9 MBytes/sec
[1944] 25.0-30.0 sec   284 MBytes  56.7 MBytes/sec
[1944]  0.0-33.8 sec  1907 MBytes  56.4 MBytes/sec
Done.



======================================================================

由此可见，并没有太大的区别？

可见现在的问题出在网卡上或者系统上亦或者硬盘读写上？

新购了BCM系列的5709和5721，5708，明天到手后再做测试：）

Eternal_allen

也用过几次这个软件，感觉数据是正常的，因为我的硬盘也是一般硬盘，估计是pc two 的绿盘读写速度上不去

intel2k

iperf这个软件是直接内存到内存的，并不需要读写硬盘。这个成绩看起来有些偏低了。建议把网卡的mtu调大一点，然后iperf加上-mss参数试试有没有改善。

aliguagua

我懒得测试了，买了条10米的扁平网线
我觉得网线也有一定的影响

ilbwn

看情形应该是OS的问题，XP下达到这个速度很正常

另外看下CPU和网卡占用率

IPERF是内存到内存，跟硬盘没关系

intel2k

我刚才也用这个软件（iperf）实际测试了一下(系统是XP)。。发现这个软件默认的buffer值(-l参数)太小，导致默认测试成绩很差。我在用它默认的参数测试的结果只有300多Mbps，但是改用-l 1000000参数之后测试结果立刻就飙升到了946Mbps。在缺省mtu的情况下，这个成绩已经很不错了。

iperf是一个知名的网络测速软件，这样的默认设置得容易给人造成误导。我觉得应该把默认值改大一点，或者至少在help信息里面提一下这个问题。

ilbwn

intel2k 发表于 2011-12-10 13:07
我刚才也用这个软件（iperf）实际测试了一下(系统是XP)。。发现这个软件默认的buffer值(-l参数)太小，导致默 ...

那你直接XP下拷贝速度能达到多少？

intel2k

ilbwn 发表于 2011-12-10 13:18
那你直接XP下拷贝速度能达到多少？

刚才测了一下XP到2003的网络直接邻居传输，本地启用ramdisk，测试文件大小705M。
结果：下载用时14秒，上传用时9秒。对应的速度是50MB/s和78MB/s。
而如果用ftp传输，速度是113MB/s和116MB/s。这和前面iperf测试的946Mbps=118MB/s是一致的。
从这些测试结果看，XP的网络邻居效率的确比较差，是制约千兆速度的一大瓶颈。

aliguagua

intel2k 发表于 2011-12-10 13:07
我刚才也用这个软件（iperf）实际测试了一下(系统是XP)。。发现这个软件默认的buffer值(-l参数)太小，导致默 ...

偶还是觉得用fastcopy直接测试，准确些

intel2k

aliguagua 发表于 2011-12-10 15:26
偶还是觉得用fastcopy直接测试，准确些[titter>

用FastCopy 2.08也试了一下，同样的测试环境，705M文件上传68MB/s，下载105MB/s。
FastCopy的确比网络邻居拷贝快了不少，不过比ftp和iperf还是略有差距。iperf不经过硬盘最快是正常的，只是默认参数给得不好。

几个测试软件的速度比较：
iperf(优化参数) > ftp > fastcopy > 网络邻居 > iperf(默认参数)

zlyzwy

intel2k 发表于 2011-12-10 15:56
用FastCopy 2.08也试了一下，同样的测试环境，705M文件上传68MB/s，下载105MB/s。
FastCopy的确比网络邻 ...

没错。我把Buffer Lengh 调整为10MBytes。
速度如下：


bin/iperf.exe -c 192.168.1.20 -P 1 -i 5 -p 5001 -l 10M -f M -n 115098112 -r -L 5001
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.1.20, TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
[1852] local 192.168.1.148 port 12626 connected with 192.168.1.20 port 5001
[ ID] Interval       Transfer     Bandwidth
[1852]  0.0- 1.4 sec   110 MBytes  80.0 MBytes/sec
[1944] local 192.168.1.148 port 5001 connected with 192.168.1.20 port 1040
[ ID] Interval       Transfer     Bandwidth
[1944]  0.0- 1.0 sec   110 MBytes   114 MBytes/sec
Done.

那瓶劲应该是在硬盘读写上？

zlyzwy

看来网卡和交换机，甚至网线都不是问题，换几块好点的硬盘才是硬道理

ilbwn

intel2k 发表于 2011-12-10 15:04
刚才测了一下XP到2003的网络直接邻居传输，本地启用ramdisk，测试文件大小705M。
结果：下载用时14秒，上 ...

上个图看看，要带CPU占用和网卡占用图

intel2k

zlyzwy 发表于 2011-12-10 19:01
没错。我把Buffer Lengh 调整为10MBytes。
速度如下：

这个网络速度算正常了。你的硬盘作了raid0应该也不会太慢。估计你的瓶颈还是XP的网络邻居造成的，换成Win7应该会好很多。

zlyzwy

intel2k 发表于 2011-12-10 21:46
这个网络速度算正常了。你的硬盘作了raid0应该也不会太慢。估计你的瓶颈还是XP的网络邻居造成的，换成Win ...

我觉得如果我交换机支持Jumbo Frame应该会好很多。。
今天到了一块BCM5721和5709.。。明天测试下看看。。
不过我觉得应该区别不大了。。。：）

intel2k

这里有一张截图：
左边那个波动是一次ftp传输，速度117.5MB/s。网络利用率接近100%了。
右边那个波动是一次XP网络邻居传输，速度约70MB/s。网络利用率60%左右，但顶部也比较平坦。

zlyzwy

刚才顺带测试了NAS上的Intel Pro 1000 MT Dual Port的性能。
看来PCI-X用在PCI上，的确性能不行。

使用的是PC ONE和NAS之间的连接。
速度在40-50M最大

bin/iperf.exe -c 192.168.1.110 -P 1 -i 1 -p 5001 -l 10M -f M -n 1200000000 -r -L 5001
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 192.168.1.110, TCP port 5001
TCP window size: 0.01 MByte (default)
------------------------------------------------------------
[1852] local 192.168.1.148 port 3357 connected with 192.168.1.110 port 5001
[ ID] Interval       Transfer     Bandwidth
[1852]  0.0- 1.0 sec  50.0 MBytes  50.0 MBytes/sec
[1852]  1.0- 2.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  2.0- 3.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  3.0- 4.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  4.0- 5.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  5.0- 6.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  6.0- 7.0 sec  50.0 MBytes  50.0 MBytes/sec
[1852]  7.0- 8.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  8.0- 9.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  9.0-10.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 10.0-11.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 11.0-12.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 12.0-13.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 13.0-14.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 14.0-15.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 15.0-16.0 sec  50.0 MBytes  50.0 MBytes/sec
[1852] 16.0-17.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 17.0-18.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 18.0-19.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 19.0-20.0 sec  50.0 MBytes  50.0 MBytes/sec
[ ID] Interval       Transfer     Bandwidth
[1852] 20.0-21.0 sec  30.0 MBytes  30.0 MBytes/sec
[1852] 21.0-22.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 22.0-23.0 sec  50.0 MBytes  50.0 MBytes/sec
[1852] 23.0-24.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 24.0-25.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 25.0-26.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852] 26.0-27.0 sec  40.0 MBytes  40.0 MBytes/sec
[1852]  0.0-28.3 sec  1150 MBytes  40.6 MBytes/sec
[1944] local 192.168.1.148 port 5001 connected with 192.168.1.110 port 1713
[ ID] Interval       Transfer     Bandwidth
[1944]  0.0- 1.0 sec  70.0 MBytes  70.0 MBytes/sec
[1944]  1.0- 2.0 sec  60.0 MBytes  60.0 MBytes/sec
[1944]  2.0- 3.0 sec  70.0 MBytes  70.0 MBytes/sec
[1944]  3.0- 4.0 sec  80.1 MBytes  80.1 MBytes/sec
[1944]  4.0- 5.0 sec  59.9 MBytes  59.9 MBytes/sec
[1944]  5.0- 6.0 sec  60.0 MBytes  60.0 MBytes/sec
[1944]  6.0- 7.0 sec  70.1 MBytes  70.1 MBytes/sec
[1944]  7.0- 8.0 sec  59.9 MBytes  59.9 MBytes/sec
[1944]  8.0- 9.0 sec  70.0 MBytes  70.0 MBytes/sec
[1944]  9.0-10.0 sec  60.0 MBytes  60.0 MBytes/sec
[1944] 10.0-11.0 sec  70.0 MBytes  70.0 MBytes/sec
[1944] 11.0-12.0 sec  70.0 MBytes  70.0 MBytes/sec
[1944] 12.0-13.0 sec  70.1 MBytes  70.1 MBytes/sec
[1944] 13.0-14.0 sec  60.0 MBytes  60.0 MBytes/sec
[1944] 14.0-15.0 sec  49.9 MBytes  49.9 MBytes/sec
[1944] 15.0-16.0 sec  60.0 MBytes  60.0 MBytes/sec
[1944] 16.0-17.0 sec  60.1 MBytes  60.1 MBytes/sec
[1944]  0.0-17.9 sec  1150 MBytes  64.2 MBytes/sec
Done.

zlyzwy

主板和BCM的网卡不匹配。。有问题。。唉。。算了。。还是集成的用用先：）

phac123

我家里用的是TP-Link TL-SG1005+千兆交换机，下载机和主电脑都用主板自带的Realtek千兆网卡，两机都是RAID0，互拷能稳定在100m/s，两机都是Win7系统…