POPPUR爱换

标题: [交流] ICH10R Raid5 性能实测 （9/11 更新） [打印本页]
作者: mark139    时间: 2011-9-5 23:40
标题: [交流] ICH10R Raid5 性能实测 （9/11 更新）
本帖最后由 mark139 于 2011-9-16 00:56 编辑

本周末用5片ST2000DL003组了个ICH10R-Raid5, 简单测试了一下, 结果如图, 不知道是否还可以进一步优化.

[attach]1623400[/attach]

另外,ST2000DL003确实安静,5片的噪音都没有一片ST31000528AS来的大,后者就跟炒豆子一样的.



9/11更新:
经过87小时(约3天半)的漫长初始化, 7T的Raid5空间终于初始化好了, 补充一些测试结果如下（等待还是值得的）. 先上一张RST存储系统视图如下：5个2T盘组成的阵列, 划分了前面最快的375G组了个Raid0(游戏区),后面7T组了个Raid5（数据仓库）. 系统在SSD Raid0上（不得已挂在Marvell 9128控制器上）
[attach]1628908[/attach]

以下关于文件传输的测试用了一个20G的视频文件（用TX100自导自拍）。为了避免测试结果受到数据源的瓶颈限制， 特地用内存建了个21G的Ramdisk。本机总内存24G， 建完内存盘后，尚余3G内存供系统使用（Win7 旗舰 64位）。 对复制窗口的截屏有意选择在最后5~10秒进行，以排除开始阶段由缓存产生的影响。

测试项目及结果如下：
Ramdisk to Raid5 : 260 MB/s
Raid5 to Ramdisk : 516 MB/s
Ramdisk to Raid0 : 629 MB/s
Raid0 to Ramdisk : 612 MB/s
Raid5 to Raid0   : 262 MB/s
Raid0 to Raid5   : 102 MB/s

对应的截屏如下：
[attach]1628937[/attach]
[attach]1628935[/attach]
[attach]1628936[/attach]
[attach]1628933[/attach]
[attach]1628934[/attach]
[attach]1628932[/attach]

从Raid0和Raid5之间的互拷可以看出，一个阵列上同时进行两个卷的操作会对性能产生明显影响。这也再次印证了系统最好不要和Raid5卷共存，否则效果不好。如果Raid5卷纯粹用作数据仓库，读写速度还是OK的。


9/13更新:
昨晚准备往Raid5拷贝数据时, 发现了致命的问题. 平均尺寸100KB左右的小文件(如图片,文档等)的大量写入速度超慢, 从起始的几百MB/s很快会下降到几十MB/s, 甚至低于10MB/s, 用不同的簇大小重新格式化分区也没有明显改善.

基于这点严重不足,我的ICH10R Raid5已经失去了实用意义. 目前已经删除了阵列和卷， 打算花点时间测试一下Raid10.


9/16更新:
Raid10小文件复制也不行，ICH10R 彻底放弃了，还是回归正道， 上RAID卡了， 启用老将Adaptec 5805，小试了一下效果不错。
作者: 测试    时间: 2011-9-6 10:25
实际写入大文件的速度是多少呢？用的是啥CPU？
作者: mikeee146    时间: 2011-9-6 11:25
提示: 作者被禁止或删除 内容自动屏蔽
作者: luckissy    时间: 2011-9-6 11:36
不在乎性能无所谓了
作者: dracocephalum    时间: 2011-9-6 17:46
這……爲啥讀跟寫會差這麽遠？？
作者: dalao123    时间: 2011-9-7 10:37
INTEL的速度就是好
作者: fleefish    时间: 2011-9-8 08:57
据说主板  RAID5不怎么靠谱啊
作者: once375ml    时间: 2011-9-8 09:06
fleefish 发表于 2011-9-8 08:57
据说主板  RAID5不怎么靠谱啊

只要不掉电  不存在不靠谱

和硬raid卡相比 就是少了电池和硬件RAID cpu
作者: once375ml    时间: 2011-9-8 09:07
话说这测的是缓存的吧

4K @ 264MB/491MB的读写？？？
作者: hcgxp    时间: 2011-9-8 09:30
once375ml 发表于 2011-9-8 09:06
只要不掉电  不存在不靠谱

和硬raid卡相比 就是少了电池和硬件RAID cpu

不用掉电，只要启用写缓存，如果电脑程序卡住，写缓存的数据就会出问题。
不多时间这个阵列的性能就下降的吓人了。
作者: once375ml    时间: 2011-9-8 10:06
hcgxp 发表于 2011-9-8 09:30
不用掉电，只要启用写缓存，如果电脑程序卡住，写缓存的数据就会出问题。
不多时间这个阵列的性能就下降 ...

这个的确是

我ICH10R的raid 5只玩了一下就删除了  没有硬raid卡  raid没有什么意思
作者: mark139    时间: 2011-9-8 17:43
上RAID卡之前， 打算先玩玩板载RAID5，毕竟好点的RAID卡有点贵。

由于系统盘是独立的SSD， RAID5只是挂作仓库盘，大部分时间没有读写操作，有的话也是读多写少，估计开缓存的风险，应该不大。

目前已经发现的缺点是，初始化太慢，5个2T盘貌似要80个小时才能完成初始化，相当离谱。
INTEL的RST初始化算法有点小白， 全盘写零也不用这么长时间啊。
作者: mark139    时间: 2011-9-8 17:45
测试 发表于 2011-9-6 10:25
实际写入大文件的速度是多少呢？用的是啥CPU？

等初始化结束，准备从SSD拷个20G的大文件过来看看。
CPU是X5675
作者: 测试    时间: 2011-9-8 17:48
mark139 发表于 2011-9-8 17:45
等初始化结束，准备从SSD拷个20G的大文件过来看看。
CPU是X5675

期待ing，到时让我也见识一下，呵呵。
作者: per1-q1222    时间: 2011-9-8 18:16
once375ml 发表于 2011-9-8 09:06
只要不掉电  不存在不靠谱

和硬raid卡相比 就是少了电池和硬件RAID cpu

不單純..
這種ROMB的driver-based RAID少的東西可多了...
作者: nanamib    时间: 2011-9-9 09:53
刚组了3*2t raid5，初始化24小时。组raid后试过断电几次，发现只要不打开卷回写raid5没有问题，但如果打开卷回写，raid5的分区丢失了，数据也会有问题。晚点初始化以后再试试。
打开卷回写速度比单盘要快。不打开就只有30m左右。
那些raid卡实在选不下手，新的贵得要命，拆机的又怕质量不行。而且只追求安全，速度没什么关系。
作者: mark139    时间: 2011-9-9 11:07
nanamib 发表于 2011-9-9 09:53
刚组了3*2t raid5，初始化24小时。组raid后试过断电几次，发现只要不打开卷回写raid5没有问题，但如果打开卷 ...

握手, 咱们应该多交流交流.

你的系统在Raid阵列上吗? 建议系统安装到独立磁盘比较安全.
另外你的初始化时间明显比我的快啊, 两天过去了, 我的才进行到60%.
作者: nanamib    时间: 2011-9-9 11:25
mark139 发表于 2011-9-9 11:07
握手, 咱们应该多交流交流.

你的系统在Raid阵列上吗? 建议系统安装到独立磁盘比较安全.

系统安装在80g的迅猛龙上。我只有3盘，所以快点。你拷贝文件速度有多少？
作者: mark139    时间: 2011-9-9 11:43
nanamib 发表于 2011-9-9 11:25
系统安装在80g的迅猛龙上。我只有3盘，所以快点。你拷贝文件速度有多少？

现在还没法做拷贝测试, 得等初始化结束 (漫长啊). 上面的ATTO测试是在调试阶段建了个2G的mini卷测的, 参数(条带/分配单元/对齐)都调好后才启动了全整列的初始化. 前400G建了个RAID0(游戏分区), 后7T建了个RAID5(数据仓库), Intel的Matrix storage要充分利用.

你也上个ATTO bench来参考参考吧.
作者: nanamib    时间: 2011-9-9 12:00
对齐是atto的对齐，还是win的对齐？我还不敢copy数据到上面，先试试稳不稳定。
有试过手工掉电，会有什么影响吗？
作者: kinno    时间: 2011-9-9 15:40
晕，80小时的初始化时间？直接吓死我了，楼上两位好耐心
作者: mark139    时间: 2011-9-9 19:50
nanamib 发表于 2011-9-9 12:00
对齐是atto的对齐，还是win的对齐？我还不敢copy数据到上面，先试试稳不稳定。
有试过手工掉电，会有什么影 ...

就是Windows下的分区对齐(缺省1M对齐), ATTO跟这个没关系, 调整的话得用Diskpart命令.

没试过手工掉电, 不敢. (我这电网稳定, 近两年中仅碰到过一次, 而且是在电脑已经睡眠的状态下)
作者: mark139    时间: 2011-9-9 19:52
kinno 发表于 2011-9-9 15:40
晕，80小时的初始化时间？直接吓死我了，楼上两位好耐心

等等更健康. 我家里有五台电脑, 不急着用这台.
作者: kinno    时间: 2011-9-10 08:47
mark139 发表于 2011-9-9 19:52
等等更健康. 我家里有五台电脑, 不急着用这台.

等你初始化之后的测试。80小时威武
作者: mark139    时间: 2011-9-11 20:20
kinno 发表于 2011-9-10 08:47
等你初始化之后的测试。80小时威武

测试结果已更新
作者: mark139    时间: 2011-9-11 20:20
测试 发表于 2011-9-8 17:48
期待ing，到时让我也见识一下，呵呵。

测试结果已更新
作者: kinno    时间: 2011-9-11 22:15
mark139 发表于 2011-9-11 20:20
测试结果已更新

持续速度不错，很适合当资料库，不过这初始化时间是不是有问题，怎么可能要3天？
作者: nanamib    时间: 2011-9-11 22:22
mark139 发表于 2011-9-11 20:20
测试结果已更新

如何创建大于2t的raid卷？
我还在初始化中，我copy数据完再做，更慢。大概要100小时。
空盘做大概是40小时左右。
作者: mark139    时间: 2011-9-11 22:35
kinno 发表于 2011-9-11 22:15
持续速度不错，很适合当资料库，不过这初始化时间是不是有问题，怎么可能要3天？

曾上Intel社区网站(英文)搜过, 老外他们也在抱怨初始化个几T的ICH10R Raid5也需要好几天, 貌似我这个时间也算正常, 只能说RST的算法太烂了，猜测是做了以单个扇区（sector）为单位的读-〉XOR-〉写-〉验证并同时扫描了介质，如果能改进为以整条带(FullStripe)为单位进行操作的话，应该会快很多。 目前的RST算法显然还停留在百G硬盘容量的年代。
作者: mark139    时间: 2011-9-11 22:39
nanamib 发表于 2011-9-11 22:22
如何创建大于2t的raid卷？
我还在初始化中，我copy数据完再做，更慢。大概要100小时。
空盘做大概是40小 ...

用GPT模式可以创建大于2T的卷。
如果已经用MBR模式创建，在磁盘管理中可以改成GPT

天， 100个小时！幸亏我在初始化结束前没拷任何数据。

等你的初始化结束，上点测试图参考参考了。
作者: nanamib    时间: 2011-9-11 22:52
mark139 发表于 2011-9-11 22:39
用GPT模式可以创建大于2T的卷。
如果已经用MBR模式创建，在磁盘管理中可以改成GPT

你意思是不是先到win7里分了区，再在启动时按ctrl+i进行设置？
还是在win里直接用intel管理器创建raid？
作者: nanamib    时间: 2011-9-11 22:55
mark139 发表于 2011-9-11 22:39
用GPT模式可以创建大于2T的卷。
如果已经用MBR模式创建，在磁盘管理中可以改成GPT

raid5用于存储资料，我建议还是不要打开卷回写。不然如果有写入时断电，可能会有意外发生。
作者: mark139    时间: 2011-9-11 23:04
nanamib 发表于 2011-9-11 22:52
你意思是不是先到win7里分了区，再在启动时按ctrl+i进行设置？
还是在win里直接用intel管理器创建raid？

GPT/MBR设置跟BIOS没关系, 看这里:

[attach]1629030[/attach]
作者: mark139    时间: 2011-9-11 23:05
nanamib 发表于 2011-9-11 22:55
raid5用于存储资料，我建议还是不要打开卷回写。不然如果有写入时断电，可能会有意外发生。

是有这个风险.
作者: nanamib    时间: 2011-9-11 23:10
mark139 发表于 2011-9-11 23:04
GPT/MBR设置跟BIOS没关系, 看这里:

你的raid是在哪里创建的？
我在进系统前用ctrl+i创建，但提示最大2048g。
作者: mark139    时间: 2011-9-11 23:25
nanamib 发表于 2011-9-11 23:10
你的raid是在哪里创建的？
我在进系统前用ctrl+i创建，但提示最大2048g。

我在BIOS里起先是建了一个，确实有大小限制。
后来进系统后，在RST中把原先的阵列删除了，重新建了一个，RST中没有大小限制。
作者: kinno    时间: 2011-9-12 00:29
mark139 发表于 2011-9-11 22:35
曾上Intel社区网站(英文)搜过, 老外他们也在抱怨初始化个几T的ICH10R Raid5也需要好几天, 貌似我这个时间 ...

尼玛初始化三天蛋都碎了啊，肯定是rst烧饼了。论坛有几个大虾玩lsi raid卡的，有空你可以和他们交流下，印象中玩raid5也不可能初始化那么久
作者: zaknafein    时间: 2011-9-12 22:44
我觉得太折腾，还是直接去弄5-bay的nas比较好
作者: 测试    时间: 2011-9-13 09:37
这个数据很惊艳啊，没想到ICH的RAID也能有这样的性能。
作者: mark139    时间: 2011-9-14 15:53
kinno 发表于 2011-9-12 00:29
尼玛初始化三天蛋都碎了啊，肯定是rst烧饼了。论坛有几个大虾玩lsi raid卡的，有空你可以和他们交流下，印 ...

ICH10R的初始化太长, 小文件写入太慢, 放弃了.

刚弄了个Adaptec 5805 (基于IOP348), 周末又可以折腾了.
作者: kinno    时间: 2011-9-14 19:38
mark139 发表于 2011-9-14 15:53
ICH10R的初始化太长, 小文件写入太慢, 放弃了.

刚弄了个Adaptec 5805 (基于IOP348), 周末又可以折腾了 ...

3天哪我晕，你就不要了。
看看adaptec的表现吧，应该不会太差
作者: idolclub    时间: 2011-9-14 20:40
mark139 发表于 2011-9-14 15:53
ICH10R的初始化太长, 小文件写入太慢, 放弃了.

刚弄了个Adaptec 5805 (基于IOP348), 周末又可以折腾了 ...

Adaptec 5805性能不錯的，2TB 7200rpm RAID5初始化約需8~10小時，當中已包含了初始化及Verify的時間
作者: mark139    时间: 2011-9-14 20:48
kinno 发表于 2011-9-14 19:38
3天哪我晕，你就不要了。
看看adaptec的表现吧，应该不会太差

长痛不如短痛啊, 目前也就损失三天, 要是真用上ICH10R, 那今后的三年都不会痛快
作者: mark139    时间: 2011-9-14 20:49
idolclub 发表于 2011-9-14 20:40
Adaptec 5805性能不錯的，2TB 7200rpm RAID5初始化約需8~10小時，當中已包含了初始化及Verify的時間

倍受鼓舞, 马上开工, 搞Adapte 5805了
作者: kinno    时间: 2011-9-14 21:58
mark139 发表于 2011-9-14 20:48
长痛不如短痛啊, 目前也就损失三天, 要是真用上ICH10R, 那今后的三年都不会痛快

放心搞吧，idolclub大侠来帮忙了，看起来adaptec这个卡还不错
作者: plasm    时间: 2011-9-15 17:09
万一崩溃，LZ重组的时候，估计也会崩溃的

集成的RAID重组的那个慢啊
作者: nanamib    时间: 2011-9-15 17:53
mark139 发表于 2011-9-14 20:49
倍受鼓舞, 马上开工, 搞Adapte 5805了

Adapte 5805多少钱？pm个链接。ich10r raid5 能直接转移过去吗？
作者: mark139    时间: 2011-9-16 00:31
plasm 发表于 2011-9-15 17:09
万一崩溃，LZ重组的时候，估计也会崩溃的

集成的RAID重组的那个慢啊

集成的不用了,上5805了,这性能确实彪悍, 小文件拷贝很给力
作者: mark139    时间: 2011-9-16 00:44
本帖最后由 mark139 于 2011-9-16 00:51 编辑
nanamib 发表于 2011-9-15 17:53
Adapte 5805多少钱？pm个链接。ich10r raid5 能直接转移过去吗？


我这个没花钱, 是从退役服务器上拆下来的, 还带电池.

网店倒是有售: 价格3300 (不带电池)
http://m.pconline.com.cn/shop160074/pid:8061985/product_detail.html

估计和ICH10R应该不兼容， RAID需要重组
作者: wintel32    时间: 2011-9-16 02:52
nanamib 发表于 2011-9-15 17:53
Adapte 5805多少钱？pm个链接。ich10r raid5 能直接转移过去吗？

ich10r和adaptec raid5间不能直接转移
作者: wtq    时间: 2011-9-16 10:35
raid0还是有价值的。



欢迎光临 POPPUR爱换 (https://we.poppur.com/) Powered by Discuz! X3.4