求助关于9260-8i阵列卡与阵列相关问题咨询，希望知道的人不吝指教，谢谢

touchyue

在淘宝某商城上入了一张LSI 9260-8i阵列卡，卖家说是全新原装，到手后发现内里静电袋比较皱，金手指有上机痕迹，SN无三码合一，静电袋无SN、阵列卡有SN、包装盒有SN但是不一致。卖家解释说因为每次采购都是向LSI采购几百片，所以很难做到每片SN都三码合一，静电袋每天发货很多都直接全部拆掉贴标再统一装，所以比较皱，阵列卡发货前都上机测试之后才发货。质询了淘宝另一个卖家，也是卖正品的，说现在正品的挡板都是镂空的，而且三码合一。其实挡板有无镂空我觉得问题不大，毕竟经常有时候生产批次不同有些变化是会有的。只是卡上过机以及静电袋比较皱我不太好接受，但是又急着用卡。来不及退货扯皮折腾，就和原卖家说卡我先测试如果没问题就用了，如果有问题再退。卡都是三年保。
    现在有个现象是这样的，我用8个ST MD001 双碟装的2T组RAID0，然后用HDTUNE测试读取性能是最低330 最高889 平均762的水平 算了下性能是单个硬盘的5倍左右，这卡我见过别人评测，用Seagate Cheetah 15K.7 300GB 15,000rpm SAS 2.0这个盘的评测，8个盘RAID0性能是最低822最高1443平均1185，算下来能到7.2倍，就算是我的盘性能不及别人的但是同样8个盘按道理说性能提升的幅度是一样的，不会一个提升7.2倍一个才5倍。上图，还有一张图是在BIOS里设置为GEN1的时候的 性能会差些，好像到PCI-E带宽的瓶颈了，设置为GEN2和GEN3无分别，毕竟这卡也才支持PCI-E2.0。但是我看图片其实也有点怀疑是比是PCI-E瓶颈，就算设置GEN2刚开始好像速度也提不上去，直到后面硬盘性能下降了速度才降下来。我这8个硬盘是组RAID6的组了下性能也不对劲，就先从RAID0开始判断性能是在哪里哪个环节出问题了，上图片，配置是华硕P8Z77-V LK ,I7 3770,威刚4G1600*4，技嘉GTX570，镁光M4 128G系统盘，希望大家踊跃发言 有啥说啥···

RAID6的情况

RAID0在BIOS设置为GEN1的情况

RAID0在BIOS设置自动或GEN2或GEN3的情况

阵列卡背面

阵列卡正面

主机····

touchyue

per1-q1222 发表于 2012-6-28 20:36
我想應該是你的錯覺..
BGI可以最佳化parity操作...
但是針對讀取操作的情況..

现在在家了 傍晚硬盘初始化完毕 测试了下读取 上图
这个是HDTUNE设置块大小为8M的读取速度
这个是HDTUNE设置块大小为1M的读取速度 均比原先有了些明显进步
明天上午还有时间 下午电脑就要送出了 就没的测了 呵呵 谢谢你的热心回复

per1-q1222

touchyue 发表于 2012-6-28 12:54
没事了 原来第一次开机要等好久 吓死我了 测试数据暂时还是不理想 等会让它初始化完成后再测试
PS:为 ...

我想應該是你的錯覺..
BGI可以最佳化parity操作...
但是針對讀取操作的情況..
這影響並不大...

最佳化parity操作可以決定parity的"最適當計算"..

我認為需要更多資訊收集...
可以的話上傳lsigetwin腳本...
http://kb.lsi.com/KnowledgebaseArticle12278.aspx
你再進行測試的時候..
有將BGI永久disable嗎?...

touchyue

per1-q1222 发表于 2012-6-28 12:20
T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0- ...

没事了 原来第一次开机要等好久 吓死我了 测试数据暂时还是不理想 等会让它初始化完成后再测试
PS:为什么更新固件后硬盘震动比之前强烈了？

touchyue

per1-q1222 发表于 2012-6-28 12:20
T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0- ...

你好 更新后卡在开机画面了怎么办？ 光标一直闪动 ··· 这下麻烦了

per1-q1222

touchyue 发表于 2012-6-28 09:41
你好 已经上传

T4: VERSIONS=APP_2.120.13-1094,BIOS_3.20.00_4.11.05.00_0x0418A000,PCLI_04.04-017:#%00008,BCON_6.0-32-e_27-Rel,NVDT_2.09.03-0010,BTBL_2.02.00.00-0000,BOOT_01.250.04.219
T4: PACKAGE=12.12.0-0036
T4: VALIDATION=GCA_12/20/10_10:30:05
嘗試更新你的f/w...
http://www.lsi.com/downloads/Pub ... _2.130.353-1663.zip

並且測試...
HD TUNE, R/W測試
CDM, 50M與1000M測試

Homer_Li

顺便找了两篇
http://thessdreview.com/our-reviews/lsi-megaraid-sassata-9265-8i-iometer-2008/
http://www.tomshardware.com/reviews/sas-6gb-raid-controller,3028.html

Homer_Li

touchyue 发表于 2012-6-27 22:58
谢谢你的测试与回复 很详细 不过M5015接12个硬盘是不是要个什么接口扩展器？ 这几天测试确实是在未初始化 ...

这个我也不太清楚，目前机器和我不在一个城市。其实应该可以查到的。就是不知如何查看了。
等我这边下一批机器到了，我再拆机看看。
你的意思内置在主板内的一个raid卡和硬盘的连接器吧？
以前一些老机器都是sas线直接分成多根sata连接线。
或者就是拖一个直连柜子。比如：MD1000这种。
这个玩意向各位请教了。这个玩意对性能影响大么？

Homer_Li

:-)， linux 下我的是用megacli来看所有信息和日志
HDD 型号ST2000NM0011
SAS 是ST3300657SS

                    Mfg. Data
                ================
Mfg. Date       : 05/01/12
Rework Date     : 00/00/00
Revision No     : 79C
Battery FRU     : N/A

                Image Versions in Flash:
                ================
FW Version         : 2.120.263-1549
BIOS Version       : 3.24.00_4.12.05.00_0x05120000
Preboot CLI Version: 04.04-019:#%00008
WebBIOS Version    : 6.0-46-e_42-Rel
NVDATA Version     : 2.09.03-0028
Boot Block Version : 2.02.00.00-0000
BOOT Version       : 09.250.01.219

                Settings
                ================
Current Time                     : 3:15:48 6/28, 2012
Predictive Fail Poll Interval    : 300sec
Interrupt Throttle Active Count  : 16
Interrupt Throttle Completion    : 50us
Rebuild Rate                     : 30%
PR Rate                          : 30%
BGI Rate                         : 90%
Check Consistency Rate           : 30%
Reconstruction Rate              : 90%
Cache Flush Interval             : 4s
Max Drives to Spinup at One Time : 4
Delay Among Spinup Groups        : 2s
Physical Drive Coercion Mode     : 1GB
Cluster Mode                     : Disabled
Alarm                            : Disabled
Auto Rebuild                     : Enabled
Battery Warning                  : Enabled
Ecc Bucket Size                  : 15
Ecc Bucket Leak Rate             : 1440 Minutes
Restore HotSpare on Insertion    : Disabled
Expose Enclosure Devices         : Enabled
Maintain PD Fail History         : Enabled
Host Request Reordering          : Enabled
Auto Detect BackPlane Enabled    : SGPIO/i2c SEP
Load Balance Mode                : Auto
Use FDE Only                     : Yes
Security Key Assigned            : No
Security Key Failed              : No
Security Key Not Backedup        : No
Default LD PowerSave Policy      : Controller Defined
Maximum number of direct attached drives to spin up in 1 min : 120
Any Offline VD Cache Preserved   : No
Allow Boot with Preserved Cache  : No
Disable Online Controller Reset  : No
PFK in NVRAM                     : No
Use disk activity for locate     : No

                Capabilities
                ================
RAID Level Supported             : RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 with spanning, SRL 3 supported, PRL11-RLQ0 DDF layout with no span, PRL11-RLQ0 DDF layout with span
Supported Drives                 : SAS, SATA

Allowed Mixing:

Mix in Enclosure Allowed

                Status
                ================
ECC Bucket Count                 : 0

                Limitations
                ================
Max Arms Per VD          : 32
Max Spans Per VD         : 8
Max Arrays               : 128
Max Number of VDs        : 64
Max Parallel Commands    : 1008
Max SGE Count            : 80
Max Data Transfer Size   : 8192 sectors
Max Strips PerIO         : 42
Max LD per array         : 16
Min Strip Size           : 8 KB
Max Strip Size           : 1.0 MB
Max Configurable CacheCade Size: 0 GB
Current Size of CacheCade      : 0 GB
Current Size of FW Cache       : 397 MB

                Device Present
                ================
Virtual Drives    : 2
  Degraded        : 0
  Offline         : 0
Physical Devices  : 16
  Disks           : 14
  Critical Disks  : 0
  Failed Disks    : 0

                Supported Adapter Operations
                ================
Rebuild Rate                    : Yes
CC Rate                         : Yes
BGI Rate                        : Yes
Reconstruct Rate                : Yes
Patrol Read Rate                : Yes
Alarm Control                   : Yes
Cluster Support                 : No
BBU                             : Yes
Spanning                        : Yes
Dedicated Hot Spare             : Yes
Revertible Hot Spares           : Yes
Foreign Config Import           : Yes
Self Diagnostic                 : Yes
Allow Mixed Redundancy on Array : No
Global Hot Spares               : Yes
Deny SCSI Passthrough           : No
Deny SMP Passthrough            : No
Deny STP Passthrough            : No
Support Security                : Yes
Snapshot Enabled                : No
Support the OCE without adding drives : Yes
Support PFK                     : No
Support PI                      : No
Support Boot Time PFK Change    : No
Disable Online PFK Change       : No
Support Shield State            : No
Block SSD Write Disk Cache Change: No

                Supported VD Operations
                ================
Read Policy          : Yes
Write Policy         : Yes
IO Policy            : Yes
Access Policy        : Yes
Disk Cache Policy    : Yes
Reconstruction       : Yes
Deny Locate          : No
Deny CC              : No
Allow Ctrl Encryption: No
Enable LDBBM         : No
Support Breakmirror  : No
Power Savings        : No

                Supported PD Operations
                ================
Force Online                            : Yes
Force Offline                           : Yes
Force Rebuild                           : Yes
Deny Force Failed                       : No
Deny Force Good/Bad                     : No
Deny Missing Replace                    : No
Deny Clear                              : No
Deny Locate                             : No
Support Temperature                     : Yes
Disable Copyback                        : No
Enable JBOD                             : No
Enable Copyback on SMART                : No
Enable Copyback to SSD on SMART Error   : Yes
Enable SSD Patrol Read                  : No
PR Correct Unconfigured Areas           : Yes
Enable Spin Down of UnConfigured Drives : No
Disable Spin Down of hot spares         : Yes
Spin Down time                          : 30
T10 Power State                         : No
                Error Counters
                ================
Memory Correctable Errors   : 0
Memory Uncorrectable Errors : 0

                Cluster Information
                ================
Cluster Permitted     : No
Cluster Active        : No

                Default Settings
                ================
Phy Polarity                     : 0
Phy PolaritySplit                : 0
Background Rate                  : 30
Strip Size                       : 128kB
Flush Time                       : 4 seconds
Write Policy                     : WB
Read Policy                      : None
Cache When BBU Bad               : Disabled
Cached IO                        : No
SMART Mode                       : Mode 6
Alarm Disable                    : No
Coercion Mode                    : 1GB
ZCR Config                       : Unknown
Dirty LED Shows Drive Activity   : No
BIOS Continue on Error           : No
Spin Down Mode                   : None
Allowed Device Type              : SAS/SATA Mix
Allow Mix in Enclosure           : Yes
Allow HDD SAS/SATA Mix in VD     : No
Allow SSD SAS/SATA Mix in VD     : No
Allow HDD/SSD Mix in VD          : No
Allow SATA in Cluster            : No
Max Chained Enclosures           : 16
Disable Ctrl-R                   : Yes
Enable Web BIOS                  : Yes
Direct PD Mapping                : No
BIOS Enumerate VDs               : Yes
Restore Hot Spare on Insertion   : No
Expose Enclosure Devices         : Yes
Maintain PD Fail History         : Yes
Disable Puncturing               : Yes
Zero Based Enclosure Enumeration : No
PreBoot CLI Enabled              : Yes
LED Show Drive Activity          : No
Cluster Disable                  : Yes
SAS Disable                      : No
Auto Detect BackPlane Enable     : SGPIO/i2c SEP
Use FDE Only                     : Yes
Enable Led Header                : No
Delay during POST                : 4
EnableCrashDump                  : No
Disable Online Controller Reset  : No
EnableLDBBM                      : No
Un-Certified Hard Disk Drives    : Allow
Treat Single span R1E as R10     : No
Max LD per array                 : 16
Power Saving option              : Don't spin down Hot spares
Don't Auto spin down Configured Drives
Max power savings option is  not allowed for LDs. Only T10 power conditions are to be used.
Default spin down time in minutes: 30
Enable JBOD                      : No
TTY Log In Flash                 : No
Auto Enhanced Import             : No
BreakMirror RAID Support         : No
Disable Join Mirror              : No
Enable Shield State              : No
Time taken to detect CME         : 60s

touchyue

per1-q1222 发表于 2012-6-28 05:48
請參考我寫的這篇:
http://www.osslab.com.tw/Storage/Enterprise/SAS%E8%88%87RAID/LSI/LSI_RAID_Softw ...

你好 已经上传

per1-q1222

touchyue 发表于 2012-6-27 22:59
f/w log? 指的是固件版本和日志什么的吗

請參考我寫的這篇:
http://www.osslab.com.tw/Storage/Enterprise/SAS%E8%88%87RAID/LSI/LSI_RAID_Software_Stack_Training/TTY_Log(Firmware_Log)

touchyue

per1-q1222 发表于 2012-6-27 12:20
上傳你的f/w log...

f/w log? 指的是固件版本和日志什么的吗

touchyue

Homer_Li 发表于 2012-6-27 22:35
而且raid 6 做了之后，会raid卡会初始化，一般都是调整初始化的优先级，让它快速初始化完毕，初始化完了再测 ...

谢谢你的测试与回复 很详细 不过M5015接12个硬盘是不是要个什么接口扩展器？ 这几天测试确实是在未初始化完成的情况下测试的 所以今晚就开一个晚上 等它初始化完成后明天再测试下，后天电脑就要给客户送去了 呵呵没得玩了

Homer_Li

而且raid 6 做了之后，会raid卡会初始化，一般都是调整初始化的优先级，让它快速初始化完毕，初始化完了再测试哦。

Homer_Li

今天刚好压了服务器的9260.
IBM ServerRaid m5015 (LSI 9260 8i)
Xeon E5649 x 2
4G x 6 DDR 3 1333

CentOS 6.2 x86_64 , 12 块HDD 没记录是哪款WD的 磁盘了，明天查查，2TB 7200rpm 6Gb/s
12块2TB Riad 6 ， 裸设备性能，因为我们用各种文件系统，一般以裸的为基准。这样可以避免内核的缓存。同步IO。

使用FIO 2.0.7测试 Raid6 stripe size 128KB，顺序读，顺序写，顺序混合（读写比率1:1）
测试IO块大小128k %20  256k 20%  512k %20 1024k %40SATA 2TB
R：877011        W：1079600        Mix: 194433     KB/s

然后，我模拟JBOD模式（貌似IBM在ServerRaid 5015上屏蔽了这个功能）
如果是LSI的固件，是否能调整?
我将12块盘，每块盘组成Raid 0SATA 2TB
R：1837770          W：1837770             Mix：1039449
SAS 15000rpm 300GB
R：2421760        W：1963008        Mix:1304993   KB/s

感觉LSI的最近几代产品，纯读，纯写是纯爷们，混合就不行了。特别是Raid 6.
上次测试IBM DSC 3700， DS 3512也是这样，IBM OEM netapp收购LSI Enqenio的一款产品。iozone的结果也是类似。

per1-q1222

touchyue 发表于 2012-6-27 10:40
RAID6性能出来了 评价下```

上傳你的f/w log...

touchyue

RAID6性能出来了 评价下```

kinno

反正在这论坛看过的开箱，都说，正品是镂空挡板的

zyzs

http://www.xfastest.com/cms/tid-74856/
其实这种速度是正常的，你可以参考下这位朋友的8盘r6

touchyue

idolclub 发表于 2012-6-26 00:51
先把HD TUNE Options內的Block Size設為8MB再測

你好 这是已经把HD TUNE 设置为8m情况下的RAID6测试 性能是否还是偏慢呢