POPPUR爱换

标题: 紧急 raid5 degraded，求助|已总结，DS3的问题 [打印本页]

作者: sc80t 时间: 2013-3-26 18:54
标题: 紧急 raid5 degraded，求助|已总结，DS3的问题
本帖最后由 sc80t 于 2013-3-28 10:48 编辑

卡是9260 8i，4盘3T r5, 组了大概就1个月吧

@per1-q1222

ttylog在附件

搜索以后，发现p大说先来社区问问

感觉跟@jimmyjin情况类似，见http://we.pcinlife.com/thread-1943832-1-1.html ，好像也是DS3即Spindown太过频繁的问题。。

总结下，rebuild下确实就搞定了，然后，CDB和Sense信息可以在上面那个链接里面有个P大的OSSLAB里学到不少。

看log的话，每次硬盘休眠时，有一个盘就会出unexpected sense:balabala，不休眠的话，一点问题，也没有，网上搜了下，在一个IBM的支援文档里面也有提到说是firmware对configured drive的DS3功能支持得不是很好，然后，给的soulution是升级firmware，并且，提到下一版的firmware就直接关闭了，倒是LSI的文档google没找到，估计得上社区看吧，就没再仔细看了，也许，这就是LSI后来关闭DS3的原因了。

总之，非企业硬盘最好不要用DS3，非要用的话，用P大的话，"把休眠时间设长一点"。

作者: sc80t 时间: 2013-3-26 18:57
发现后手贱在MSM里面把问题盘(Foreign)Unconfigured Bad改成了(Foreign)Unconfigured Good，不知道有没有影响

作者: sc80t 时间: 2013-3-26 21:01
学习了下osslab, 帮p大减点负:

CDB是16bit，如果第0位也是operation code的话，那operation code是8a，没有16bit的表 so..

sense ：
error code:70
sense key: 2 4 2 表上的解释是Not Ready - need initialize command(start unit)

然后发现Mar/4就开始出现这个CDB和sense了，但是因为一直是在information里，VD也是optimal状态，就一直没注意到

作者: per1-q1222 时间: 2013-3-26 21:38
你目前的VD status是optimal?...

作者: sc80t 时间: 2013-3-26 22:05

per1-q1222 发表于 2013-3-26 21:38
你目前的VD status是optimal?...

目前是critical，我的意思是从mar/4到今天下午degrade之前一直是optimal，所以没发现有unexpected sense

最开始是CDB 88,sense 2/4/2，然后25日下午变为CDB 8a,sense 2/4/2，然后今日下午fail再然后degrade

这种情况，或者rebuild就ok了？怕出错，先咨询下

第一次玩raid，呵呵，怕怕

作者: guanyc 时间: 2013-3-26 22:15
9260 8i卡用起来怎么样

另外在Windows 磁盘管理器中能看到硬盘吗？谢谢。

作者: sc80t 时间: 2013-3-26 22:18

guanyc 发表于 2013-3-26 22:15
9260 8i卡用起来怎么样

另外在Windows 磁盘管理器中能看到硬盘吗？谢谢。

用来挺好啊

你意思是看到每块物理磁盘？那肯定看不到啊，只能看到vd虚拟磁盘，在我的case里就是3t*4 r5得到的8.1t的硬盘

作者: per1-q1222 时间: 2013-3-26 22:34

sc80t 发表于 2013-3-26 22:05
目前是critical，我的意思是从mar/4到今天下午degrade之前一直是optimal，所以没发现有unexpected sense
...

你現在是4盤掉1盤??...

作者: sc80t 时间: 2013-3-26 22:45

per1-q1222 发表于 2013-3-26 22:34
你現在是4盤掉1盤??...

恩1/4的盘掉了

作者: per1-q1222 时间: 2013-3-26 22:48

sc80t 发表于 2013-3-26 22:45
恩1/4的盘掉了

在掉盤後..
其他三盤有持續I/O操作??...

作者: sc80t 时间: 2013-3-26 23:06

per1-q1222 发表于 2013-3-26 22:48
在掉盤後..
其他三盤有持續I/O操作??...

没有任何读写

作者: sc80t 时间: 2013-3-26 23:11
盘符还在，点开盘符看了一眼，文件夹都还在，没再点进去看了，怕产生读操作。本来是想rebuild的，但想着还是来问下，怕不是这么简单

作者: per1-q1222 时间: 2013-3-26 23:38

sc80t 发表于 2013-3-26 23:11
盘符还在，点开盘符看了一眼，文件夹都还在，没再点进去看了，怕产生读操作。本来是想rebuild的，但想着还是 ...

直接rebuild即可..
但是關掉DS3...

作者: sc80t 时间: 2013-3-27 00:16

per1-q1222 发表于 2013-3-26 23:38
直接rebuild即可..
但是關掉DS3...

好得，放心的rebuild去了，今晚网络还是gz老抽风，刷不出来帖子，感谢p大

作者: guanyc 时间: 2013-3-27 22:25

sc80t 发表于 2013-3-26 22:18
用来挺好啊

你意思是看到每块物理磁盘？那肯定看不到啊，只能看到vd虚拟磁盘，在我的case里就是3t*4 r ...

原来是这样啊。。谢谢

我最近打算做个NAS。。所以想多了解一些。。，然后考虑选择哪个卡比较合适～

作者: sc80t 时间: 2013-3-28 10:39

guanyc 发表于 2013-3-27 22:25
原来是这样啊。。谢谢

我最近打算做个NAS。。所以想多了解一些。。，然后考虑选择哪个卡比较合适～

几盘位，接ssd做缓存不，要用2t还是3t硬盘，需要硬盘能节能不

作者: guanyc 时间: 2013-3-28 15:37

sc80t 发表于 2013-3-28 10:39
几盘位，接ssd做缓存不，要用2t还是3t硬盘，需要硬盘能节能不

目前计划的是 16个盘位（个人认为这个值算是比较理想的）

SSD目前没考虑，都是3.5的大硬盘，目前考虑是3T硬盘。。未来可能上4T（看什么时候降价）

节能虽然在考虑之中，但还么有具体计划

另外，最近觉得RAID比较麻烦。因此考虑直接使用系统上的功能
（比如，储存池。。）
因此需要至少让系统能直接发现硬盘。。而不是那个虚拟的

作者: sc80t 时间: 2013-3-30 01:20

guanyc 发表于 2013-3-28 15:37
目前计划的是 16个盘位（个人认为这个值算是比较理想的）

SSD目前没考虑，都是3.5的大硬盘，目前考虑 ...

16盘位的话，9260 16i或者8i+背板/扩展卡呗，箱子的话，我记得外面有个帖子，才买了16盘位的超微箱子

3t话，可以等等，现在3t每天都在跌

raid是一定需要的，系统的软raid都不说性能的问题了，最关键的安全性都得不到保障，不懂为啥非要系统直接发现硬盘，系统直接发现是pass-through，硬raid卡普遍不支持pass-through模式。

raid有啥麻烦的啊，16盘位的数据。。不要说这点知识都不愿意去研究

作者: guanyc 时间: 2013-3-30 16:03

sc80t 发表于 2013-3-30 01:20
16盘位的话，9260 16i或者8i+背板/扩展卡呗，箱子的话，我记得外面有个帖子，才买了16盘位的超微箱子

...

pass-through ，是为了测试储存池的需要。
因为可以在储存池里开类似Raid的功能，因此在开一个RAID显得没有必要了

机箱正在找，3T吗，确实啊，可惜内存又。。。

RAID麻烦你不是刚刚遇到了吗？
16盘是是最大值，我不会一次上那么多的
可能上3T也可能上4T，现在手里还有 1T和 500G，还有1.5T，还有一个送去翻修2T
这些放在一起，怎么组一个RAID啊，
虽然有JBOD ，但那个不是RAID，
所以我考虑测试一下，硬盘池（看资料，类似 ZFS，自动带回复），可以跨不同的硬盘大小创建，而这样，首先需要先让系统识别（如果先组一个 JBOD ，到时候要换盘的话，还给重新设置。）

作者: sc80t 时间: 2013-3-31 01:27

guanyc 发表于 2013-3-30 16:03
pass-through ，是为了测试储存池的需要。
因为可以在储存池里开类似Raid的功能，因此在开一个RAID显得 ...

我这个raid明显是小问题啊，就是个rebuild，而且这种吊盘的错误raid可能发生，存储池一样可能发生，我没用过，我猜测就类似zfs的storage pool

但是，如果你用存储池，一旦硬盘坏了，你觉得，你去哪里修，raid是大家一直在用的方案，无数企业几十年都在用，相当成熟的方案，所以，出了问题，也是相对好修的，别说win的存储池，就算是ZFS，如果出问题了，需要看多少wiki，查manual，需要去多少老外的论坛查资料(这方面，国人的论坛确实有巨大差距)，而win的存储池这个就更冷门了，更加难找到资料

恩，16盘位的话，我建议分成两个8盘，至于8盘是做r5,r6还是r5+热备，当然，都是自己选择嘛，分成两个也有个好处，组好16盘位后，比如，用两年，6t盘很成熟了，就把1个8盘全换成6t的，这样，容量方便升级不说，关键，很方便数据迁移，个人玩家，可是没那么多热备盘的

至于手上的硬盘，我现在也有2个2t和1个1t也是没放入阵列的，放在外面的硬盘盒里面。jbod是肯定不可行的，原因就是你说的那个问题，但是你想你是16盘位的，那是多少数据量，而就为了把手上几个现有的硬盘都利用起来，让后来的16盘位的数据的扛风险能力没有最大化，你觉得值得吗。我目前是8盘位，就已经为了raid，把手上的零散硬盘全部打入外置硬盘盒了。

作者: guanyc 时间: 2013-3-31 14:43

sc80t 发表于 2013-3-31 01:27
我这个raid明显是小问题啊，就是个rebuild，而且这种吊盘的错误raid可能发生，存储池一样可能发生，我没用 ...

。。。问题肯定会有发生

而且，而个人用的，如果真到了要用数据恢复的时候肯定不合适
所以我对这个准备妥协，使用其他方式做备份，比如多个网盘 + 自动脚本/自定义程序什么的

另外，目前考虑的卡，RAID5性能不好，因此，最多考虑个RAID1 ，或者 10 这类的。。

而不用外置硬盘盒原因是，主要是听所外置硬盘盒容易引发个各种问题

因此，我现在选择方法是
IBM M1015 RAID (LSI 9240-8i) + IR/IT 固件（开启pass-through ） + 带扩展器的16盘位机箱。

这么下来可以
1，直接可以使用，我可以把现在所有零散的硬盘放入设备里，可以不用RAID
2，如果我想玩RAID了，可以在准备好足够数量的硬盘在开始（比如，RAID1是2的倍数，10是4的倍数，RAID5方面可以选择系统的玩玩，）。。
3，如果将来资金到位，那么我可以升级设备或者在弄一个PC组网络冗余
4，如果实在担心重要数据，可以选择考虑购买云备份（记得看到几个国外的，但整体是一个收费方案，安装一个客户端，自动备份）或者使用多个网盘，保存数据。。

至于遇到错误了话，那么只有去查资料了。（去国外，或者官方论坛？）
其次，没有100%不出错的方案，如果RAID真的挂的话，那么去做数据恢复，可能不如直接去找备份来的省事。（对于个人来说）

作者: sc80t 时间: 2013-3-31 15:37

guanyc 发表于 2013-3-31 14:43
。。。问题肯定会有发生

而且，而个人用的，如果真到了要用数据恢复的时候肯定不合适

我是觉得，16盘的话，肯定相当多的数据都是高清视频，这种数据，说特别重要也不是，但要说一点都不重要也不至于，重新下这些电影是很花时间的，至于高清视频用云、网盘什么的来备份，这是明显不现实的。

我给你说下我的方案吧：
主力机是笔记本ssd*1+hdd*1，nas是4sata口(ssd*1+hdd*1+hdd*2)+9260-8i
视频共8盘，做的两个4盘r5，用完9260-8i的口
无损音频是做的r1，用的nas的hdd*2，b75不支持raid，脚本在mirror
一般文档是在主力机和nas双机备份，就是两台电脑的hdd*1上，没用全自动脚本，用的beyond compare做手动mirror
最重要的私人文档，工作文档，双机+dropbox/百度云三重备份。。

大小上，基本是20T：1T：500G：20G
这样的话，数据按重要性先分好级，日后管理会省很多事。

当然，你要觉得视频没那么重要，当然可以不做r5
不过，还是建议，不要为了利用零散硬盘，而增加日后的管理时间。用零散硬盘，经常会在几个硬盘间挪来挪去，随着硬盘增多，实在是很费事

作者: guanyc 时间: 2013-4-1 01:04
本帖最后由 guanyc 于 2013-4-1 01:09 编辑

sc80t 发表于 2013-3-31 15:37
我是觉得，16盘的话，肯定相当多的数据都是高清视频，这种数据，说特别重要也不是，但要说一点都不重要也 ...

首先，
我我没选择RAID的原因，是因为我打算使用另一个带冗余功能另一种技术（储存池）。
通过那个实现自动冗余管理和备份。。

至于零散盘，主要也是因为那个技术可以跨无视硬盘大小规格的不同而组件。

其实移动文件什么的，也费劲不到那里去的（也不会经常移动，除非有需要），关键是数据丢失这点实在闹心。
更闹心的是，资源找不到了。这点。

重要的用晕备份开始可能的，只是恢复是非常要命的。。

但高清备份到网盘还是可行的
只要研究好官方的API，然后自己实现一个客户端上传就行了
管理也可以用程序，附加好处，还可去论坛灌水发帖。。（资源不会白传的）

而上个 9260的成本增加不少，其次，我有无法立刻准备出足够数量硬盘

那么这个NAS弄完之后还给闲置很长时间才能准备好硬盘，又有什么意义呢？

最后，在退一步讲
如果 RAID和储存迟坏了，都到了不得不去做数据恢复的程序
那个，自己一个研究数据恢复的，他们之间难度能有多大差别呢？
无论那个，你都给从原理上逆向分析，虽然前者大部分技术已经公开了，但分析起来恐怕也不容易。。
就算有现成工具，能不能好用也是一个问题。。

欢迎光临 POPPUR爱换 (https://we.poppur.com/)