真正的diy存储高手看过来，这个帖子的问题对于许多人有非常意义

大风飞扬

由于本人的工作室内部资源分享需要，我需要组建一个六个客户端并发，每个客户端50MB/S的文件服务器，拷贝的都是较大的文件，一般超过1GB。（注意50MB/S是M字节每秒，不是比特每秒）。这意味着该服务器起码需要300MB/S的并发速度。

为此，我的硬件配置：

dell 690工作站 (intel 5110 cpu  /  4g ram /  intel 5000x芯片 / intel 632x南桥芯片组）

intel 9402pt pci-e 4x 双口网卡 共两块

highpoint 4320 pci-e 8x raid卡

netgear 724at 支持 802.3 ad动态聚合的交换机

4块seagate es.2  500g企业级sata硬盘（备注，我本来打算要购买8块WD RE3的硬盘的，后来打算先随便测试看看能够跑多少，于是找了四块希捷硬盘来测）


我已经完成的部分测试：

dell 690 安装 win2008 sp2正版系统，开启共享，关闭防火墙，四个硬盘通过high point 做raid0测试。每个客户端都是win2008系统，都是千兆 pci-e网卡。


测试：

intel 9402 pt 两块，每块两端口，任何一个端口跟我的一台客户端机（也是win2008 sp2）连接，可以达到90MB/S的速度，这个时候只让这一个网口工作，不接交换机，不做网卡聚合。实际上就是单测一台客户端连接到dell 690工作站上的速度。

测试：

将intel 9402pt 两块总共四个端口做聚合lagg0，netgear交换机也做对应聚合。然后发动四个客户端通过netgear交换机同时连接到dell 690已经做好raid0的硬盘阵列拷贝东西，大约50GB数据，一个客户端20MB/S，一个客户端10多M/s，另外一个30MB/S，另外一个也是15MB/S

测试：

因为对上述结果迷惑不解，于是将网卡lag去除，分散成独立的4个网卡端口，每个网卡端口直接接客户端机器（不经过交换机），这个时候的性能更加可怜，有的40MB/S，有的5MB/S，四个网口加起来总共速度才75MB/S


测试：

high point 4320卡为新购入，购入后我已经用它倒入1000G的数据做稳定测试，没有任何问题。另外，四个seagate es.2 500g硬盘组成的raid0阵列用hdtune测试速度在250MB/S左右


我反复做了很多次测试，但是就没有看到过四个网卡总共并发超过 90MB/S的情况，无论是网卡聚合还是网卡不聚合，无论是接交换机还是不接交换机。

到此，我已经迷惑不解了，我虽然没有买专业化的存储，但是我购买的这些东西都是性能很好的东西，例如 intel 9402 pt网卡，我放着好几块8492mt网卡没有用，花了接近3000元买了两块回来。例如raid卡，我没有用dell 690的raid，而是花了接近4000元购买了high point 4320卡。另外交换机，都是正宗支持802.3 ad聚合的netgear 724at交换机，一个交换机就是 5000元。至于网线，我全部是采用六类品牌线。所有这些部件单测都没有问题的。


我自己整理的怀疑思路：

可以排除cpu,内存，交换机，网卡本身的问题，因为cpu资源自始至终测试都是在30%以下，内存也足足有余。排除交换机是因为不接交换机，四个网卡口独自工作总带宽也上不去，网卡每个口我都做过几个小时大数据测试的。


剩下的怀疑：

1  dell 690 主板南桥有问题？只是猜测，南桥那么大的带宽，随便给点就超过100MB/S了。

2  win2008 smb共享协议限制速度？或者这个协议并发能力上薄弱？

3 seagate 的 sata硬盘阵列并发响应能力薄弱？虽然sata的并发能力由于不支持tcq，而只是支持ncq，但是并发响应能力不至于如此薄弱吧？


瓶颈究竟出在什么地方？请有经验的高手帮帮我吧， ，愿重金酬谢啊！我现在已经搞得快崩溃了！

jasonzzh

帮顶。。没经验瞎说也不好。等有经验的高手

fishman

个人感觉硬件问题只有sata硬盘。sata多任务并发能力很差，不管你是否raid。别看测试成绩很高，根本不顶事。你试试本机盘内复制大文件再去list，都会很卡。本版内有帖子测试过sas卡分别挂sas和sata raid多任务复制，sata会损失2/3单任务性能，比sas差远了！你可以去看看。要不然谁买sas盘呢？容量价格都处于极大的劣势，如果性能和sas没差别，即使寿命比sata长我想企业也会多买几个sata备份就行了。

austinxp

留个名，等待高手解答。

ghw

还是硬盘的问题. 那些速度只是持续的读取的速度. 如果是一个大文件,持续的COPY可以到这个数据.但是如果是小文件的话.速度会小很多.
另外米多.为什么不上SAS呢!

rustnail

建议：主机服务器至少虚拟2g内存作ramdisk,客户机也能够虚拟出2gramdisk更好，
做不到就1g吧。放两个足够大的单个文件到ramdisk里，比如视频文件。然后从服务器里
复制到客户机的ramdisk，这样没有磁盘性能的瓶颈。看看能有什么速度，在比如放大文件夹里面
装足够数量的细小文件，重复上述拷贝，看什么效果。这样看看问题出在哪里。

misty

换PCI-E的固态硬盘试下

cfscy

我觉得应该是win2008 smb共享协议限制速度

太虚公

10# nxbuy
有啊

Windows Storage Server  这东西可以有下载得到的

KYOIORY

用ramdisk实测是个好方法

konamix

恩……围观一下，
目前成本最低的测试方案就是ramdisk了。
建议楼主先测试一下。

中华千年老妖

首先测试一下单个用户连接的速度正不正常，如果单个用户的速度都不正常就要看看网卡的设置有没有开启巨帧，有没有开启TOF，有没有开启流控制。SATA硬盘并发访问的效率的确不高，要想测试硬盘系统的并发访问性能，可以下载Adaptec的Threadmark选择与你实际使用中相符的并发访问数来测试，如果熟悉IOmeter就更好，可以用IOmeter百分百来模仿实际的使用情况。

knightmaster

SATA并不是全双工设备，请使用SAS硬盘

inabyss

围观，可以由学习的机会了

迪奥科技

完全不懂，学习吧

Teardrop

1. 建议先将问题简化，采用单用户（用4张千兆网卡，如果支持聚合或网络负载平衡就更好，硬盘也做raid0）连接四个端口做聚合intel 9402pt （lagg0），这样可以得出整个I/O情况。
  2.然后分别对应服务端与客户端分析。
  PS：希望LZ不要放弃，有问题大家一起讨论。

jasonzzh

楼主不见了。。。