POPPUR爱换

标题: 真正的diy存储高手看过来，这个帖子的问题对于许多人有非常意义 [打印本页]

作者: 大风飞扬 时间: 2009-9-18 01:32
标题: 真正的diy存储高手看过来，这个帖子的问题对于许多人有非常意义
本帖最后由大风飞扬于 2009-9-18 01:34 编辑

由于本人的工作室内部资源分享需要，我需要组建一个六个客户端并发，每个客户端50MB/S的文件服务器，拷贝的都是较大的文件，一般超过1GB。（注意50MB/S是M字节每秒，不是比特每秒）。这意味着该服务器起码需要300MB/S的并发速度。

为此，我的硬件配置：

dell 690工作站 (intel 5110 cpu  /  4g ram /  intel 5000x芯片 / intel 632x南桥芯片组）

intel 9402pt pci-e 4x 双口网卡共两块

highpoint 4320 pci-e 8x raid卡

netgear 724at 支持 802.3 ad动态聚合的交换机

4块seagate es.2  500g企业级sata硬盘（备注，我本来打算要购买8块WD RE3的硬盘的，后来打算先随便测试看看能够跑多少，于是找了四块希捷硬盘来测）

我已经完成的部分测试：

dell 690 安装 win2008 sp2正版系统，开启共享，关闭防火墙，四个硬盘通过high point 做raid0测试。每个客户端都是win2008系统，都是千兆 pci-e网卡。

测试：

intel 9402 pt 两块，每块两端口，任何一个端口跟我的一台客户端机（也是win2008 sp2）连接，可以达到90MB/S的速度，这个时候只让这一个网口工作，不接交换机，不做网卡聚合。实际上就是单测一台客户端连接到dell 690工作站上的速度。

测试：

将intel 9402pt 两块总共四个端口做聚合lagg0，netgear交换机也做对应聚合。然后发动四个客户端通过netgear交换机同时连接到dell 690已经做好raid0的硬盘阵列拷贝东西，大约50GB数据，一个客户端20MB/S，一个客户端10多M/s，另外一个30MB/S，另外一个也是15MB/S

测试：

因为对上述结果迷惑不解，于是将网卡lag去除，分散成独立的4个网卡端口，每个网卡端口直接接客户端机器（不经过交换机），这个时候的性能更加可怜，有的40MB/S，有的5MB/S，四个网口加起来总共速度才75MB/S

测试：

high point 4320卡为新购入，购入后我已经用它倒入1000G的数据做稳定测试，没有任何问题。另外，四个seagate es.2 500g硬盘组成的raid0阵列用hdtune测试速度在250MB/S左右

我反复做了很多次测试，但是就没有看到过四个网卡总共并发超过 90MB/S的情况，无论是网卡聚合还是网卡不聚合，无论是接交换机还是不接交换机。

到此，我已经迷惑不解了，我虽然没有买专业化的存储，但是我购买的这些东西都是性能很好的东西，例如 intel 9402 pt网卡，我放着好几块8492mt网卡没有用，花了接近3000元买了两块回来。例如raid卡，我没有用dell 690的raid，而是花了接近4000元购买了high point 4320卡。另外交换机，都是正宗支持802.3 ad聚合的netgear 724at交换机，一个交换机就是 5000元。至于网线，我全部是采用六类品牌线。所有这些部件单测都没有问题的。

我自己整理的怀疑思路：

可以排除cpu,内存，交换机，网卡本身的问题，因为cpu资源自始至终测试都是在30%以下，内存也足足有余。排除交换机是因为不接交换机，四个网卡口独自工作总带宽也上不去，网卡每个口我都做过几个小时大数据测试的。

剩下的怀疑：

1  dell 690 主板南桥有问题？只是猜测，南桥那么大的带宽，随便给点就超过100MB/S了。

2  win2008 smb共享协议限制速度？或者这个协议并发能力上薄弱？

3 seagate 的 sata硬盘阵列并发响应能力薄弱？虽然sata的并发能力由于不支持tcq，而只是支持ncq，但是并发响应能力不至于如此薄弱吧？

瓶颈究竟出在什么地方？请有经验的高手帮帮我吧，

，愿重金酬谢啊！我现在已经搞得快崩溃了！

作者: jasonzzh 时间: 2009-9-18 04:06
帮顶。。没经验瞎说也不好。等有经验的高手

作者: fishman 时间: 2009-9-18 07:07
个人感觉硬件问题只有sata硬盘。sata多任务并发能力很差，不管你是否raid。别看测试成绩很高，根本不顶事。你试试本机盘内复制大文件再去list，都会很卡。本版内有帖子测试过sas卡分别挂sas和sata raid多任务复制，sata会损失2/3单任务性能，比sas差远了！你可以去看看。要不然谁买sas盘呢？容量价格都处于极大的劣势，如果性能和sas没差别，即使寿命比sata长我想企业也会多买几个sata备份就行了。

作者: austinxp 时间: 2009-9-18 07:19
留个名，等待高手解答。

作者: ghw 时间: 2009-9-18 08:05
还是硬盘的问题. 那些速度只是持续的读取的速度. 如果是一个大文件,持续的COPY可以到这个数据.但是如果是小文件的话.速度会小很多.
另外米多.为什么不上SAS呢!

作者: rustnail 时间: 2009-9-18 09:00
建议：主机服务器至少虚拟2g内存作ramdisk,客户机也能够虚拟出2gramdisk更好，
做不到就1g吧。放两个足够大的单个文件到ramdisk里，比如视频文件。然后从服务器里
复制到客户机的ramdisk，这样没有磁盘性能的瓶颈。看看能有什么速度，在比如放大文件夹里面
装足够数量的细小文件，重复上述拷贝，看什么效果。这样看看问题出在哪里。

作者: misty 时间: 2009-9-18 09:19
换PCI-E的固态硬盘试下

作者: cfscy 时间: 2009-9-18 09:33
我觉得应该是win2008 smb共享协议限制速度

作者: nxbuy 时间: 2009-9-18 09:50
提示: 作者被禁止或删除内容自动屏蔽

作者: sarahaaa 时间: 2009-9-18 10:00
提示: 作者被禁止或删除内容自动屏蔽

作者: 趋势SSD 时间: 2009-9-18 10:04
提示: 作者被禁止或删除内容自动屏蔽

作者: 太虚公 时间: 2009-9-18 10:13
10# nxbuy
有啊

Windows Storage Server 这东西可以有下载得到的

作者: KYOIORY 时间: 2009-9-18 10:38
用ramdisk实测是个好方法

作者: konamix 时间: 2009-9-18 10:47
恩……围观一下，
目前成本最低的测试方案就是ramdisk了。
建议楼主先测试一下。

作者: 中华千年老妖 时间: 2009-9-18 10:50
首先测试一下单个用户连接的速度正不正常，如果单个用户的速度都不正常就要看看网卡的设置有没有开启巨帧，有没有开启TOF，有没有开启流控制。SATA硬盘并发访问的效率的确不高，要想测试硬盘系统的并发访问性能，可以下载Adaptec的Threadmark选择与你实际使用中相符的并发访问数来测试，如果熟悉IOmeter就更好，可以用IOmeter百分百来模仿实际的使用情况。

作者: knightmaster 时间: 2009-9-18 10:53
SATA并不是全双工设备，请使用SAS硬盘

作者: inabyss 时间: 2009-9-18 11:26
围观，可以由学习的机会了

作者: 迪奥科技 时间: 2009-9-18 11:44
完全不懂，学习吧

作者: Teardrop 时间: 2009-9-18 12:57
1. 建议先将问题简化，采用单用户（用4张千兆网卡，如果支持聚合或网络负载平衡就更好，硬盘也做raid0）连接四个端口做聚合intel 9402pt （lagg0），这样可以得出整个I/O情况。
2.然后分别对应服务端与客户端分析。
PS：希望LZ不要放弃，有问题大家一起讨论。

作者: jasonzzh 时间: 2009-9-18 19:30
楼主不见了。。。

作者: megan 时间: 2009-9-18 19:34
楼主在中间传输这块是下血本了，可是在源头上没下血本

问题就是硬盘的多任务能力，

作者: tjjsds 时间: 2009-9-18 22:06
楼主不会【论坛严禁话题，请勿再谈，我们会保留追究的权利】了吧？

作者: xuse 时间: 2009-9-18 22:22
楼主别折腾了，上HTB，接上SAN的阵列什么都解决了。

作者: sinazealot 时间: 2009-9-18 23:21
提示: 作者被禁止或删除内容自动屏蔽

作者: 丁蟹 时间: 2009-9-18 23:34
有没有尝试过做iSCSI？？？

作者: 大风飞扬 时间: 2009-9-19 00:06
最新情况，更换freenas 测试，搞完以后发测试情况过来。

作者: you_xi 时间: 2009-9-19 17:23
想问一下你是以那种方式发布资源的？？？？
网上邻居？ftp？ http ？
网上邻居的话你再好的设备也是白费！！！！

欢迎光临 POPPUR爱换 (https://we.poppur.com/)