POPPUR爱换

标题: PERC 6E + MD1000 + 15个 7.2K SAS 硬盘 RAID 5 RAID 6 的一些测试 [打印本页]

作者: h5nc 时间: 2011-4-10 21:08
标题: PERC 6E + MD1000 + 15个 7.2K SAS 硬盘 RAID 5 RAID 6 的一些测试
本帖最后由 h5nc 于 2011-4-13 09:29 编辑

纯存储，没有性能要求....有的是时间等它慢慢写慢慢读...

配置是PERC 6E + MD1000盘柜

其实更纠结的是 RAID 6重建时间....

最新更新：目前选定的方案是 7盘 RAID5 + 7盘 RAID5 + 1盘全局热备更新了7盘读取速度

作者: iloveati 时间: 2011-4-10 21:10
本帖最后由 iloveati 于 2011-4-10 21:11 编辑

当然R6啊，用什么RAID卡？组好了来上图啊

作者: iamfishz 时间: 2011-4-10 21:15
16口RAID卡？啥卡啊

作者: h5nc 时间: 2011-4-10 21:21

iloveati 发表于 2011-4-10 21:10
当然R6啊，用什么RAID卡？组好了来上图啊

图不养眼...不上了....

PERC 6E+MD1000盘柜....epxander出瓶颈了...读最高270左右，写170左右.

作者: h5nc 时间: 2011-4-10 21:21

iamfishz 发表于 2011-4-10 21:15
16口RAID卡？啥卡啊

PERC 6E + MD1000盘柜中间是expander

作者: iloveati 时间: 2011-4-10 22:12

h5nc 发表于 2011-4-10 21:21
图不养眼...不上了....

PERC 6E+MD1000盘柜....epxander出瓶颈了...读最高270左右，写170左右.

不用实物图，测试图就可以了

作者: h5nc 时间: 2011-4-10 22:14

iloveati 发表于 2011-4-10 22:12
不用实物图，测试图就可以了

等我倒腾完这波数据的....
明儿发图吧....2T数据走千兆拷贝得跑几个小时呢....

作者: iloveati 时间: 2011-4-10 22:19

h5nc 发表于 2011-4-10 22:14
等我倒腾完这波数据的....
明儿发图吧....2T数据走千兆拷贝得跑几个小时呢....

不急不急，数据重要

作者: wintel32 时间: 2011-4-10 23:28

h5nc 发表于 2011-4-10 21:08
纯存储，没有性能要求....有的是时间等它慢慢写慢慢读...

安全性肯定是RAID6高

作者: Planeswalker 时间: 2011-4-11 09:10
保险一些可以双raid5加一个全局热备，嗯……

作者: johnbean 时间: 2011-4-11 09:29
我觉得R5足矣，不过，要是数据不多又想更安全，就R6吧，毕竟R5多坏两块就没治了。

作者: 暗火 时间: 2011-4-11 09:38
这么多硬盘搞Raid5，重建过程中再挂掉一块就完了

作者: lucifersun 时间: 2011-4-11 10:19
R6就是为了防止R5单盘故障重建中再挂一个。
反正15个盘了，建议你R6再加一个热备。

epxander瓶颈么，要是MD1200就好了，6G的，可惜只能上12个盘

作者: Planeswalker 时间: 2011-4-11 10:29
本帖最后由 Planeswalker 于 2011-4-11 10:33 编辑

R6就不怕build的时候再坏了？R6rebuild的压力比R5还大呢。同一批硬盘抛开个体差异，在使用损耗上都差不多，当有盘坏的时候，给物理盘压力越小的rebuild越安全，这里还刨除卡和硬盘Firmware的bug情况。
双R5＋GHS跟R6+GDH在容量损耗上一样，但对卡和盘的压力都低于R6，只不过不是一个整空间。所以配置方案是7R5+7R5+1GHS

但是，这一可以避免单一阵列崩塌数据全部乌有的情况。h5nc你自己考虑吧，这个是生产线上的一种配置。

作者: lucifersun 时间: 2011-4-11 10:46

Planeswalker 发表于 2011-4-11 10:29
R6就不怕build的时候再坏了？R6rebuild的压力比R5还大呢。同一批硬盘抛开个体差异，在使用损耗上都差不多， ...

R5、R6对硬盘的读写压力不都是一样的嘛，只不过对阵列卡的运算压力大不少。

作者: slr 时间: 2011-4-11 11:08
我的6i前几天rebuild了一次，是因为我在DOS下操作的时候手贱拔了一块出来然后直接自动rebuild我了个去，12小时不到，数据基本全满的

作者: lucifersun 时间: 2011-4-11 12:00

slr 发表于 2011-4-11 11:08
我的6i前几天rebuild了一次，是因为我在DOS下操作的时候手贱拔了一块出来然后直接自动rebuild我了个去，12小 ...

幸亏只手贱了一次啊

作者: slr 时间: 2011-4-11 12:05

lucifersun 发表于 2011-4-11 12:00
幸亏只手贱了一次啊

R6，手贱两次应该还能救的，三次那就砍了吧

作者: mastpoko 时间: 2011-4-11 15:46
镜像RAID起码呕数吧

作者: h5nc 时间: 2011-4-11 19:53

iloveati 发表于 2011-4-10 22:19
不急不急，数据重要

两张测试图 15盘raid 6
[attach]1506819[/attach]

[attach]1506818[/attach]

作者: btwb006 时间: 2011-4-12 17:38
读取和写入被啥限制瓶颈了，正常应该是从上望下的抛物线。

作者: 暗火 时间: 2011-4-12 17:50

Planeswalker 发表于 2011-4-11 10:29
R6就不怕build的时候再坏了？R6rebuild的压力比R5还大呢。同一批硬盘抛开个体差异，在使用损耗上都差不多， ...

R6至少比R5多一次机会啊！

作者: h5nc 时间: 2011-4-12 19:05

btwb006 发表于 2011-4-12 17:38
读取和写入被啥限制瓶颈了，正常应该是从上望下的抛物线。

expander 有瓶颈

作者: dd1ka 时间: 2011-4-12 22:05
回复 h5nc 的帖子

额，PREC 6E性能悲剧啊，我是12块1T的，和你一样用的MD1000，开始做Raid6，太悲剧，后来改Raid5，也悲剧，写入实在是太慢了！最后每块盘做一个Raid0，相当于就是不做raid，终于写入好了。

作者: h5nc 时间: 2011-4-13 00:01

dd1ka 发表于 2011-4-12 22:05
回复 h5nc 的帖子

额，PREC 6E性能悲剧啊，我是12块1T的，和你一样用的MD1000，开始做Raid6，太悲剧，后来 ...

R5 盘大于7个之后写惩罚太重了...所以性能不好....

作者: idolclub 时间: 2011-4-13 00:06

h5nc 发表于 2011-4-13 00:01
R5 盘大于7个之后写惩罚太重了...所以性能不好....

問題應出在MD1000盘柜身上，PERC 6E的RAID 6效能應不只這個的

作者: slr 时间: 2011-4-13 00:43
6E怎么会只有单通道的性能，想想也是expander上出问题

作者: h5nc 时间: 2011-4-13 07:58
最终配置如下：
[attach]1507784[/attach]

作者: aliguagua 时间: 2011-4-13 08:52
哇，这样组浪费了三块硬盘的容量啊

作者: h5nc 时间: 2011-4-13 08:58

aliguagua 发表于 2011-4-13 08:52
哇，这样组浪费了三块硬盘的容量啊

不把鸡蛋都放一个篮子里...

以后的硬盘不定多大容量呢...几年后兴许一块盘就能存这一柜子的数据了...

作者: aliguagua 时间: 2011-4-13 09:02

h5nc 发表于 2011-4-13 08:58
不把鸡蛋都放一个篮子里...

以后的硬盘不定多大容量呢...几年后兴许一块盘就能存这一柜子的数据了...
...

这硬盘2k一块啊，不便宜啊
既然都浪费三块了，其实也可以组r6+1热备啊

作者: h5nc 时间: 2011-4-13 09:06

aliguagua 发表于 2011-4-13 09:02
这硬盘2k一块啊，不便宜啊
既然都浪费三块了，其实也可以组r6+1热备啊

R6重建的时候对磁盘压力太大....而且盘多重建时间也长...

作者: BrainBUGs 时间: 2011-4-13 09:07
LZ放什么数据呢，难道是都是音乐？

作者: h5nc 时间: 2011-4-13 09:07
7R5的读性能，写就不测了....盘上有数据了
[attach]1507787[/attach]

作者: 五湖废人 时间: 2011-4-13 10:13
存储盘你纠结读写性能干啥- -
安全第一...其实R6+HS蛮好的- -
另外我忘掉MD1000是否是只有单通道的了
起码我H800+MD1220性能来说没啥异常

作者: h5nc 时间: 2011-4-13 10:34

五湖废人发表于 2011-4-13 10:13
存储盘你纠结读写性能干啥- -
安全第一...其实R6+HS蛮好的- -
另外我忘掉MD1000是否是只有单通道的了

你这是 24个 10k 600G吧...就算你这挂盘了重建也比我这2T的快啊....
而且SAS 2.0带来的不仅仅是带宽的提升还有 expander的规范化....

作者: 五湖废人 时间: 2011-4-13 11:05
那你要买MD1220么？- -
一台满配600G SAS的双通道的MD1220，大约价格是6万多点
3年7*24小时的4小时上门响应外加坏盘不返还服务

作者: h5nc 时间: 2011-4-13 11:22

五湖废人发表于 2011-4-13 11:05
那你要买MD1220么？- -
一台满配600G SAS的双通道的MD1220，大约价格是6万多点
3年7*24小时的4小时上门响 ...

你各种推销啊....我有MD1000了....先等这柜子满了吧...

作者: h5nc 时间: 2011-4-13 11:24

五湖废人发表于 2011-4-13 11:05
那你要买MD1220么？- -
一台满配600G SAS的双通道的MD1220，大约价格是6万多点
3年7*24小时的4小时上门响 ...

而我X7SPE的 PCIE到网卡的性能问题至今没解决....bios也刷了过了.....最高60M到头～

作者: 五湖废人 时间: 2011-4-13 11:47
太奇怪了- -
我稳稳的跑180-190M的- -
也是最最普通的几百块钱的千兆交换机|||

作者: h5nc 时间: 2011-4-13 14:09

五湖废人发表于 2011-4-13 11:47
太奇怪了- -
我稳稳的跑180-190M的- -
也是最最普通的几百块钱的千兆交换机|||

单口还能跑到60多....双口开负载均衡的话直接摔到40多了就....
你系统装的啥？我装的2008R2

作者: 五湖废人 时间: 2011-4-13 17:36
我也是2008R2......

作者: h5nc 时间: 2011-4-13 18:59

五湖废人发表于 2011-4-13 17:36
我也是2008R2......

快折磨死我了....bios里有什么机关么？关于PCIE和网络的...

作者: 五湖废人 时间: 2011-4-13 21:50
完全没有- -
我没任何特殊设置...

作者: dd1ka 时间: 2011-4-14 01:17
本帖最后由 dd1ka 于 2011-4-14 15:16 编辑

回复 h5nc 的帖子

[attach]1508604[/attach]
测了个Perc6E单盘共楼主参考，硬盘有轻微负载在跑，影响不大。
想问问楼主最终配置那张截图的软件是啥啊？貌似没用过

作者: h5nc 时间: 2011-4-14 07:51
本帖最后由 h5nc 于 2011-4-14 08:09 编辑

dd1ka 发表于 2011-4-14 01:17
回复 h5nc 的帖子

那个是 LSI 的 RAID MegaStorage Manager 9.0

看来MD1000和3000的Expander的性能不是很好...

作者: 五湖废人 时间: 2011-4-14 09:12
我的6盘R5的MD1000，盘是RE3 1T
成绩不差啊- -

作者: h5nc 时间: 2011-4-14 09:38
本帖最后由 h5nc 于 2011-4-14 09:39 编辑

五湖废人发表于 2011-4-14 09:12
我的6盘R5的MD1000，盘是RE3 1T
成绩不差啊- -

我7盘R5也差不多这速度....估计盘再多就不行了...

作者: h5nc 时间: 2011-4-14 10:00
同一个盘柜内，两个盘阵间的大容量文件拷贝速度系统是 2008R2

[attach]1508710[/attach]

作者: h5nc 时间: 2011-4-14 20:26
7R5写入
[attach]1509159[/attach]

作者: shiori_2003 时间: 2011-4-14 23:34

iamfishz 发表于 2011-4-10 21:15
16口RAID卡？啥卡啊

并不是只有8口就不能接16个硬盘.

理论上一个口就可以串联16个硬盘,只要你硬盘的最高值的和小于SAS 2.0/3.0的带宽就可以了.

当然要专门的设备的........

家用嘛，就只能1个口接1个。

作者: 五湖废人 时间: 2011-4-15 08:34

h5nc 发表于 2011-4-14 09:38
我7盘R5也差不多这速度....估计盘再多就不行了...

可是我是SATA盘- -

作者: stephenmaxmax 时间: 2011-4-15 09:14

shiori_2003 发表于 2011-4-14 23:34
并不是只有8口就不能接16个硬盘.

理论上一个口就可以串联16个硬盘,只要你硬盘的最高值的和小于SAS 2.0 ...

8个口接出100多个都没问题，前提是HBA支持这么多个盘

作者: h5nc 时间: 2011-4-15 16:11

五湖废人发表于 2011-4-15 08:34
可是我是SATA盘- -

持续传输我觉得和啥接口没太大关系,只要不是瓶颈就行....

作者: shiori_2003 时间: 2011-4-15 19:04

stephenmaxmax 发表于 2011-4-15 09:14
8个口接出100多个都没问题，前提是HBA支持这么多个盘

支持也没用,总之传输的最大值不能大于接口带宽的90%;否则就明显有瓶颈了.{lol:]

实际和理论总是有区别.

以上基于盘都是同时上线使用的情况.

作者: stephenmaxmax 时间: 2011-4-15 21:41
本帖最后由 stephenmaxmax 于 2011-4-15 21:45 编辑

shiori_2003 发表于 2011-4-15 19:04
支持也没用,总之传输的最大值不能大于接口带宽的90%;否则就明显有瓶颈了.

实际和理论总是有区别 ...

我觉得，有用expander接出100个盘这种需求的人，基本不是冲着性能去的，所以那个不在乎。sas一代4X3G或sas二代4X6G的单通道带宽，我觉得够用了。

欢迎光临 POPPUR爱换 (https://we.poppur.com/)