POPPUR爱换

标题: 求助关于9260-8i阵列卡与阵列相关问题咨询，希望知道的人不吝指教，谢谢 [打印本页]

作者: touchyue 时间: 2012-6-25 21:00
标题: 求助关于9260-8i阵列卡与阵列相关问题咨询，希望知道的人不吝指教，谢谢
本帖最后由 touchyue 于 2012-6-25 23:34 编辑

在淘宝某商城上入了一张LSI 9260-8i阵列卡，卖家说是全新原装，到手后发现内里静电袋比较皱，金手指有上机痕迹，SN无三码合一，静电袋无SN、阵列卡有SN、包装盒有SN但是不一致。卖家解释说因为每次采购都是向LSI采购几百片，所以很难做到每片SN都三码合一，静电袋每天发货很多都直接全部拆掉贴标再统一装，所以比较皱，阵列卡发货前都上机测试之后才发货。质询了淘宝另一个卖家，也是卖正品的，说现在正品的挡板都是镂空的，而且三码合一。其实挡板有无镂空我觉得问题不大，毕竟经常有时候生产批次不同有些变化是会有的。只是卡上过机以及静电袋比较皱我不太好接受，但是又急着用卡。来不及退货扯皮折腾，就和原卖家说卡我先测试如果没问题就用了，如果有问题再退。卡都是三年保。
现在有个现象是这样的，我用8个ST MD001 双碟装的2T组RAID0，然后用HDTUNE测试读取性能是最低330 最高889 平均762的水平算了下性能是单个硬盘的5倍左右，这卡我见过别人评测，用Seagate Cheetah 15K.7 300GB 15,000rpm SAS 2.0这个盘的评测，8个盘RAID0性能是最低822最高1443平均1185，算下来能到7.2倍，就算是我的盘性能不及别人的但是同样8个盘按道理说性能提升的幅度是一样的，不会一个提升7.2倍一个才5倍。上图，还有一张图是在BIOS里设置为GEN1的时候的性能会差些，好像到PCI-E带宽的瓶颈了，设置为GEN2和GEN3无分别，毕竟这卡也才支持PCI-E2.0。但是我看图片其实也有点怀疑是比是PCI-E瓶颈，就算设置GEN2刚开始好像速度也提不上去，直到后面硬盘性能下降了速度才降下来。我这8个硬盘是组RAID6的组了下性能也不对劲，就先从RAID0开始判断性能是在哪里哪个环节出问题了，上图片，配置是华硕P8Z77-V LK ,I7 3770,威刚4G1600*4，技嘉GTX570，镁光M4 128G系统盘，希望大家踊跃发言有啥说啥···

[attach]1927647[/attach]RAID6的情况

[attach]1927646[/attach]RAID0在BIOS设置为GEN1的情况

[attach]1927645[/attach]RAID0在BIOS设置自动或GEN2或GEN3的情况

[attach]1927639[/attach]阵列卡背面

[attach]1927638[/attach]阵列卡正面

[attach]1927637[/attach]主机····

作者: touchyue 时间: 2012-6-25 21:03
还有个情况，这个阵列卡上机后那个铝制散热片超级烫手，卖家说是正常情况···

作者: zyzs 时间: 2012-6-25 21:51
sata怎么能和sas比，人家sas 15.7是针对raid优化的，更何况2t的盘大了很多，我到觉得这速度正常
就算是pcie 4x也是能上g的，hdtune不太好测的，你换个其他的测下

ps：这卡找我买还好，2200￥卡+电池还有2年多保........

作者: 五湖废人 时间: 2012-6-25 22:01
果断退..............

作者: stephenmaxmax 时间: 2012-6-25 23:21
首先你这个9260能r6，说明不是假的。
速度嘛，你这8个盘最好分开挨个测下，看哪个拖后腿
还有主板，换个插槽、换块服务器板子试试看，并且关掉aspm
消费级板子的pci-e全长插槽不一定跟非显卡能卡兼容好哦

以及阵列参数的问题，条带大点试试看，然后看看回写是不是没开，等等

另外，散热片发烫是正常，这卡本来就是设计为在风道良好的服务器机箱内使用的。最好找个pci位风扇对吹，加强散热，不然卡死的快

作者: touchyue 时间: 2012-6-25 23:29

zyzs 发表于 2012-6-25 21:51
sata怎么能和sas比，人家sas 15.7是针对raid优化的，更何况2t的盘大了很多，我到觉得这速度正常
就算是pci ...

那个RAID6的速度绝对不正常吧，前面还好，后面突降那么多，设置GEN1的时候应该是工作在PCI-E1.0 8X的速度上的相当于PCI-E2.0 4X 在其余设置不变的情况下明显有性能瓶颈，卡在某个速率段上性能上不去···PCI-E2.0 8X的时候我看HDTUNE的图也感觉卡在900M/s左右无法突破··

作者: Meta 时间: 2012-6-25 23:33
本帖最后由 Meta 于 2012-6-25 23:35 编辑

没注意看,编辑掉!

作者: touchyue 时间: 2012-6-25 23:42

stephenmaxmax 发表于 2012-6-25 23:21
首先你这个9260能r6，说明不是假的。
速度嘛，你这8个盘最好分开挨个测下，看哪个拖后腿
还有主板，换个插 ...

恩可以R6 谢谢你的回复，明天每个盘都分开测试下，aspm这个倒没注意，明天也看看····

作者: touchyue 时间: 2012-6-25 23:44

Meta 发表于 2012-6-25 23:33
没注意看,编辑掉!

呵呵上面的成绩就是把显卡拔掉后试的，原先插着显卡测试的，感觉不对劲就把显卡去掉了，还是一样，就截图上来问问看了

作者: touchyue 时间: 2012-6-25 23:52
对于8个盘RAID0性能我的看法是因为某个原因导致速度被限制在900左右如果速度未被限制应该是这样的图形才对[attach]1927968[/attach] 后面之所以曲线下滑了是因为硬盘后面区域性能下滑到了900以下所以就能在软件上体现出来了之前的因为被限制所以出不来那个曲线···

作者: zyzs 时间: 2012-6-26 00:10
本帖最后由 zyzs 于 2012-6-26 00:13 编辑

你8盘r0速度是正常的，不正常的是hdtune，跑个CrystalDiskMark看看，你8盘肯定能上g

作者: touchyue 时间: 2012-6-26 00:31
本帖最后由 touchyue 于 2012-6-26 00:31 编辑

zyzs 发表于 2012-6-26 00:10
你8盘r0速度是正常的，不正常的是hdtune，跑个CrystalDiskMark看看，你8盘肯定能上g

http://we.pcinlife.com/thread-1667253-1-1.html

这是之前某个人的测试 HDTUNE性能最高到了14XX 单盘性能我这2T读写性能和他差不多就是随机比不过

作者: idolclub 时间: 2012-6-26 00:51

touchyue 发表于 2012-6-25 23:52
对于8个盘RAID0性能我的看法是因为某个原因导致速度被限制在900左右如果速度未被限制应该是这样的图形才对 ...

先把HD TUNE Options內的Block Size設為8MB再測

作者: zyzs 时间: 2012-6-26 01:07
本帖最后由 zyzs 于 2012-6-26 01:15 编辑

touchyue 发表于 2012-6-26 00:31
http://we.pcinlife.com/thread-1667253-1-1.html

这是之前某个人的测试 HDTUNE性能最高到了 ...

我8盘之前测试hdtune和你这一样不正常，换CrystalDiskMark来测就能上g，硬盘和你型号一样只不过是3t的
我的用软件看过接口是跑8x，不过没关aspm就是了，想必这也不是关键所在
看过一些朋友用日立西数2t组的r5后，我很确定和sas没的比，不要想着8盘r5会有7盘速度，我测试只有6盘左右

3tx8 r5一共19t，完全初始化时间5小时20分左右，记得hdtune完整扫描也差不多这个时间，换算下来平均980m/s
你可以参考我这个数据

还有一点你要注意，你的2t如果其中一块是3碟版的，那另外7颗速度都会被拖慢，你测下8块盘是否全部是2碟版
ps:我测试时卡的参数是默认，Strip Size是512k，如果是64k那要慢很多

作者: touchyue 时间: 2012-6-26 10:54

idolclub 发表于 2012-6-26 00:51
先把HD TUNE Options內的Block Size設為8MB再測

原来如此我改了1M 和8M 测试出来性能差距挺大的应该算是正常了原来如此我改了1M 和8M 测试出来性能差距挺大的应该算是正常了``

作者: touchyue 时间: 2012-6-26 13:09
本帖最后由 touchyue 于 2012-6-27 10:39 编辑

idolclub 发表于 2012-6-26 00:51
先把HD TUNE Options內的Block Size設為8MB再測

你好这是已经把HD TUNE 设置为8m情况下的RAID6测试性能是否还是偏慢呢 [attach]1929585[/attach]

作者: zyzs 时间: 2012-6-26 13:29
http://www.xfastest.com/cms/tid-74856/
其实这种速度是正常的，你可以参考下这位朋友的8盘r6

作者: kinno 时间: 2012-6-26 22:25
反正在这论坛看过的开箱，都说，正品是镂空挡板的

作者: touchyue 时间: 2012-6-27 10:40
RAID6性能出来了评价下```

作者: per1-q1222 时间: 2012-6-27 12:20

touchyue 发表于 2012-6-27 10:40
RAID6性能出来了评价下```

上傳你的f/w log...

作者: Homer_Li 时间: 2012-6-27 22:28
本帖最后由 Homer_Li 于 2012-6-27 22:38 编辑

今天刚好压了服务器的9260.
IBM ServerRaid m5015 (LSI 9260 8i)
Xeon E5649 x 2
4G x 6 DDR 3 1333

CentOS 6.2 x86_64 , 12 块HDD 没记录是哪款WD的磁盘了，明天查查，2TB 7200rpm 6Gb/s
12块2TB Riad 6 ，裸设备性能，因为我们用各种文件系统，一般以裸的为基准。这样可以避免内核的缓存。同步IO。

使用FIO 2.0.7测试 Raid6 stripe size 128KB，顺序读，顺序写，顺序混合（读写比率1:1）
测试IO块大小128k %20  256k 20%  512k %20 1024k %40SATA 2TB
R：877011       W：1079600       Mix: 194433    KB/s

然后，我模拟JBOD模式（貌似IBM在ServerRaid 5015上屏蔽了这个功能）
如果是LSI的固件，是否能调整?
我将12块盘，每块盘组成Raid 0SATA 2TB
R：1837770       W：1837770          Mix：1039449
SAS 15000rpm 300GB
R：2421760       W：1963008       Mix:1304993 KB/s

感觉LSI的最近几代产品，纯读，纯写是纯爷们，混合就不行了。特别是Raid 6.
上次测试IBM DSC 3700， DS 3512也是这样，IBM OEM netapp收购LSI Enqenio的一款产品。iozone的结果也是类似。

作者: Homer_Li 时间: 2012-6-27 22:35
本帖最后由 Homer_Li 于 2012-6-27 22:35 编辑

而且raid 6 做了之后，会raid卡会初始化，一般都是调整初始化的优先级，让它快速初始化完毕，初始化完了再测试哦。

作者: touchyue 时间: 2012-6-27 22:58

Homer_Li 发表于 2012-6-27 22:35
而且raid 6 做了之后，会raid卡会初始化，一般都是调整初始化的优先级，让它快速初始化完毕，初始化完了再测 ...

谢谢你的测试与回复很详细不过M5015接12个硬盘是不是要个什么接口扩展器？这几天测试确实是在未初始化完成的情况下测试的所以今晚就开一个晚上等它初始化完成后明天再测试下，后天电脑就要给客户送去了呵呵没得玩了

作者: touchyue 时间: 2012-6-27 22:59

per1-q1222 发表于 2012-6-27 12:20
上傳你的f/w log...

f/w log? 指的是固件版本和日志什么的吗

作者: per1-q1222 时间: 2012-6-28 05:48

touchyue 发表于 2012-6-27 22:59
f/w log? 指的是固件版本和日志什么的吗

請參考我寫的這篇:
http://www.osslab.com.tw/Storage/Enterprise/SAS%E8%88%87RAID/LSI/LSI_RAID_Software_Stack_Training/TTY_Log(Firmware_Log)

作者: touchyue 时间: 2012-6-28 09:41

per1-q1222 发表于 2012-6-28 05:48
請參考我寫的這篇:
http://www.osslab.com.tw/Storage/Enterprise/SAS%E8%88%87RAID/LSI/LSI_RAID_Softw ...

你好已经上传 [attach]1930708[/attach]

作者: Homer_Li 时间: 2012-6-28 11:26
本帖最后由 Homer_Li 于 2012-6-28 11:27 编辑

:-)， linux 下我的是用megacli来看所有信息和日志
HDD 型号ST2000NM0011
SAS 是ST3300657SS

                  Mfg. Data
            ================
Mfg. Date    : 05/01/12
Rework Date    : 00/00/00
Revision No    : 79C
Battery FRU    : N/A

            Image Versions in Flash:
            ================
FW Version       : 2.120.263-1549
BIOS Version    : 3.24.00_4.12.05.00_0x05120000
Preboot CLI Version: 04.04-019:#%00008
WebBIOS Version : 6.0-46-e_42-Rel
NVDATA Version    : 2.09.03-0028
Boot Block Version : 2.02.00.00-0000
BOOT Version    : 09.250.01.219

            Settings
            ================
Current Time                   : 3:15:48 6/28, 2012
Predictive Fail Poll Interval : 300sec
Interrupt Throttle Active Count  : 16
Interrupt Throttle Completion : 50us
Rebuild Rate                   : 30%
PR Rate                         : 30%
BGI Rate                      : 90%
Check Consistency Rate          : 30%
Reconstruction Rate             : 90%
Cache Flush Interval          : 4s
Max Drives to Spinup at One Time : 4
Delay Among Spinup Groups       : 2s
Physical Drive Coercion Mode    : 1GB
Cluster Mode                   : Disabled
Alarm                         : Disabled
Auto Rebuild                   : Enabled
Battery Warning                : Enabled
Ecc Bucket Size                : 15
Ecc Bucket Leak Rate          : 1440 Minutes
Restore HotSpare on Insertion : Disabled
Expose Enclosure Devices       : Enabled
Maintain PD Fail History       : Enabled
Host Request Reordering       : Enabled
Auto Detect BackPlane Enabled : SGPIO/i2c SEP
Load Balance Mode             : Auto
Use FDE Only                   : Yes
Security Key Assigned          : No
Security Key Failed             : No
Security Key Not Backedup       : No
Default LD PowerSave Policy    : Controller Defined
Maximum number of direct attached drives to spin up in 1 min : 120
Any Offline VD Cache Preserved : No
Allow Boot with Preserved Cache  : No
Disable Online Controller Reset  : No
PFK in NVRAM                   : No
Use disk activity for locate    : No

            Capabilities
            ================
RAID Level Supported          : RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 with spanning, SRL 3 supported, PRL11-RLQ0 DDF layout with no span, PRL11-RLQ0 DDF layout with span
Supported Drives                : SAS, SATA

Allowed Mixing:

Mix in Enclosure Allowed

            Status
            ================
ECC Bucket Count                : 0

            Limitations
            ================
Max Arms Per VD       : 32
Max Spans Per VD       : 8
Max Arrays             : 128
Max Number of VDs       : 64
Max Parallel Commands : 1008
Max SGE Count          : 80
Max Data Transfer Size : 8192 sectors
Max Strips PerIO       : 42
Max LD per array       : 16
Min Strip Size          : 8 KB
Max Strip Size          : 1.0 MB
Max Configurable CacheCade Size: 0 GB
Current Size of CacheCade    : 0 GB
Current Size of FW Cache    : 397 MB

            Device Present
            ================
Virtual Drives : 2
  Degraded       : 0
  Offline       : 0
Physical Devices  : 16
  Disks          : 14
  Critical Disks  : 0
  Failed Disks : 0

            Supported Adapter Operations
            ================
Rebuild Rate                   : Yes
CC Rate                      : Yes
BGI Rate                      : Yes
Reconstruct Rate             : Yes
Patrol Read Rate             : Yes
Alarm Control                : Yes
Cluster Support                : No
BBU                            : Yes
Spanning                      : Yes
Dedicated Hot Spare          : Yes
Revertible Hot Spares          : Yes
Foreign Config Import          : Yes
Self Diagnostic                : Yes
Allow Mixed Redundancy on Array : No
Global Hot Spares             : Yes
Deny SCSI Passthrough          : No
Deny SMP Passthrough          : No
Deny STP Passthrough          : No
Support Security             : Yes
Snapshot Enabled             : No
Support the OCE without adding drives : Yes
Support PFK                   : No
Support PI                   : No
Support Boot Time PFK Change : No
Disable Online PFK Change    : No
Support Shield State          : No
Block SSD Write Disk Cache Change: No

            Supported VD Operations
            ================
Read Policy       : Yes
Write Policy       : Yes
IO Policy          : Yes
Access Policy       : Yes
Disk Cache Policy : Yes
Reconstruction    : Yes
Deny Locate       : No
Deny CC             : No
Allow Ctrl Encryption: No
Enable LDBBM       : No
Support Breakmirror  : No
Power Savings       : No

            Supported PD Operations
            ================
Force Online                         : Yes
Force Offline                         : Yes
Force Rebuild                         : Yes
Deny Force Failed                      : No
Deny Force Good/Bad                   : No
Deny Missing Replace                   : No
Deny Clear                            : No
Deny Locate                            : No
Support Temperature                   : Yes
Disable Copyback                      : No
Enable JBOD                            : No
Enable Copyback on SMART             : No
Enable Copyback to SSD on SMART Error : Yes
Enable SSD Patrol Read                : No
PR Correct Unconfigured Areas          : Yes
Enable Spin Down of UnConfigured Drives : No
Disable Spin Down of hot spares       : Yes
Spin Down time                         : 30
T10 Power State                      : No
            Error Counters
            ================
Memory Correctable Errors : 0
Memory Uncorrectable Errors : 0

            Cluster Information
            ================
Cluster Permitted    : No
Cluster Active       : No

            Default Settings
            ================
Phy Polarity                   : 0
Phy PolaritySplit             : 0
Background Rate                : 30
Strip Size                      : 128kB
Flush Time                      : 4 seconds
Write Policy                   : WB
Read Policy                   : None
Cache When BBU Bad             : Disabled
Cached IO                      : No
SMART Mode                      : Mode 6
Alarm Disable                   : No
Coercion Mode                   : 1GB
ZCR Config                      : Unknown
Dirty LED Shows Drive Activity : No
BIOS Continue on Error          : No
Spin Down Mode                : None
Allowed Device Type             : SAS/SATA Mix
Allow Mix in Enclosure          : Yes
Allow HDD SAS/SATA Mix in VD    : No
Allow SSD SAS/SATA Mix in VD    : No
Allow HDD/SSD Mix in VD       : No
Allow SATA in Cluster          : No
Max Chained Enclosures          : 16
Disable Ctrl-R                : Yes
Enable Web BIOS                : Yes
Direct PD Mapping             : No
BIOS Enumerate VDs             : Yes
Restore Hot Spare on Insertion : No
Expose Enclosure Devices       : Yes
Maintain PD Fail History       : Yes
Disable Puncturing             : Yes
Zero Based Enclosure Enumeration : No
PreBoot CLI Enabled             : Yes
LED Show Drive Activity       : No
Cluster Disable                : Yes
SAS Disable                   : No
Auto Detect BackPlane Enable    : SGPIO/i2c SEP
Use FDE Only                   : Yes
Enable Led Header             : No
Delay during POST             : 4
EnableCrashDump                : No
Disable Online Controller Reset  : No
EnableLDBBM                   : No
Un-Certified Hard Disk Drives : Allow
Treat Single span R1E as R10    : No
Max LD per array                : 16
Power Saving option             : Don't spin down Hot spares
Don't Auto spin down Configured Drives
Max power savings option is  not allowed for LDs. Only T10 power conditions are to be used.
Default spin down time in minutes: 30
Enable JBOD                   : No
TTY Log In Flash                : No
Auto Enhanced Import          : No
BreakMirror RAID Support       : No
Disable Join Mirror             : No
Enable Shield State             : No
Time taken to detect CME       : 60s

作者: Homer_Li 时间: 2012-6-28 11:33
本帖最后由 Homer_Li 于 2012-6-28 11:34 编辑

touchyue 发表于 2012-6-27 22:58
谢谢你的测试与回复很详细不过M5015接12个硬盘是不是要个什么接口扩展器？这几天测试确实是在未初始化 ...

这个我也不太清楚，目前机器和我不在一个城市。其实应该可以查到的。就是不知如何查看了。
等我这边下一批机器到了，我再拆机看看。
你的意思内置在主板内的一个raid卡和硬盘的连接器吧？
以前一些老机器都是sas线直接分成多根sata连接线。
或者就是拖一个直连柜子。比如：MD1000这种。
这个玩意向各位请教了。这个玩意对性能影响大么？

作者: Homer_Li 时间: 2012-6-28 11:36
顺便找了两篇
http://thessdreview.com/our-reviews/lsi-megaraid-sassata-9265-8i-iometer-2008/
http://www.tomshardware.com/reviews/sas-6gb-raid-controller,3028.html

作者: per1-q1222 时间: 2012-6-28 12:20

touchyue 发表于 2012-6-28 09:41
你好已经上传

T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0-32-e_27-Rel,NVDT_2.09.03-0010,BTBL_2.02.00.00-0000,BOOT_01.250.04.219
T4: PACKAGE=12.12.0-0036
T4: VALIDATION=GCA_12/20/10_10:30:05
嘗試更新你的f/w...
http://www.lsi.com/downloads/Pub ... _2.130.353-1663.zip

並且測試...
HD TUNE, R/W測試
CDM, 50M與1000M測試

作者: touchyue 时间: 2012-6-28 12:52
本帖最后由 touchyue 于 2012-6-28 12:53 编辑

per1-q1222 发表于 2012-6-28 12:20
T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0- ...

[attach]1930957[/attach]你好更新后卡在开机画面了怎么办？光标一直闪动 ··· 这下麻烦了

作者: touchyue 时间: 2012-6-28 12:54
本帖最后由 touchyue 于 2012-6-28 13:03 编辑

per1-q1222 发表于 2012-6-28 12:20
T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0- ...

没事了原来第一次开机要等好久吓死我了测试数据暂时还是不理想等会让它初始化完成后再测试
PS:为什么更新固件后硬盘震动比之前强烈了？

作者: per1-q1222 时间: 2012-6-28 20:36
本帖最后由 per1-q1222 于 2012-6-28 20:39 编辑

touchyue 发表于 2012-6-28 12:54
没事了原来第一次开机要等好久吓死我了测试数据暂时还是不理想等会让它初始化完成后再测试
PS:为 ...

我想應該是你的錯覺..
BGI可以最佳化parity操作...
但是針對讀取操作的情況..
這影響並不大...

最佳化parity操作可以決定parity的"最適當計算"..

我認為需要更多資訊收集...
可以的話上傳lsigetwin腳本...
http://kb.lsi.com/KnowledgebaseArticle12278.aspx
你再進行測試的時候..
有將BGI永久disable嗎?...

作者: touchyue 时间: 2012-6-28 20:47

per1-q1222 发表于 2012-6-28 20:36
我想應該是你的錯覺..
BGI可以最佳化parity操作...
但是針對讀取操作的情況..

现在在家了傍晚硬盘初始化完毕测试了下读取上图
[attach]1931560[/attach]这个是HDTUNE设置块大小为8M的读取速度
[attach]1931559[/attach]这个是HDTUNE设置块大小为1M的读取速度均比原先有了些明显进步
明天上午还有时间下午电脑就要送出了就没的测了呵呵谢谢你的热心回复

欢迎光临 POPPUR爱换 (https://we.poppur.com/)