POPPUR爱换

标题: PERC H700 與一些背板和擴展器的兼容性測試 [打印本页]

作者: dracocephalum    时间: 2011-9-25 17:45
标题: PERC H700 與一些背板和擴展器的兼容性測試
本帖最后由 dracocephalum 于 2011-9-25 22:07 编辑

幾天前 H700 就已經入手,趁著硬盤以及其他東西還沒有到齊的情況下,先做一些基本測試。主要的目的就是看看到底 H700 是否能夠達到我想象的那種程度,以及是否真的需要 cross-flash 其他用 LSI 2108 ROC 的 RAID 卡的固件。


1、PERC 700 無法檢測 Backplane

無論我怎麽連接,PERC 700 是無法檢測到 backplane 的。我有兩個 backplane,一個是 BPN-SAS-747TQ,一個是 CSE-M35TQ 裏面的 backplane,連接使用帶 sideband 的 Adaptec SSF-8087 fanout 綫,sideband 使用 SGPIO。但是在 MSM 裏面 backplane 總是顯示 0。

不知道 PERC H700 是否不支持 SES-2 協議?


2、Dell PREC H700 與 Intel RES2SV240 的兼容性

首先一個很重要的測試就是 H700 與 RES2SV240 的兼容性。儘管 RES2SV240 只有 24-port,但是支持 load balancing,可以連接兩個輸入 (8-port input)。

連接方式如下:
H700 --> RES2SV240 --> CSE-M35TQ

[attach]1641833[/attach]

測試結果:H700 能夠成功辨認 RES2SV240 並且識別成爲 enclosure,硬盤能夠辨認,並且組成 VD。
由此看來,在 LSI MSM 裏面的 enclosure 的定義是 expander 芯片...只是,不知道爲什麽,總是說 enclosure 的 port 有 sensor error。不過只是 warning,不影響使用。
結論:Dell PREC H700 與 Intel RES2SV240 兼容


3、Dell PREC H700 與 Chenbro CK13601 的兼容性

由於五湖兄的慘案,總是覺得 LSI 的 2108 芯片與上一代的擴展芯片 LSISASX?? (3Gbps) 不兼容。不過既然手頭上有一個 Chenbro CK13601,就不妨也測試一下。CK13601 是 LSISASX36 芯片。

連接方式如下:H700 --> CK13601 --> CSE-M35TQ

[attach]1641834[/attach]

測試結果:H700 能夠成功辨認 CK13601 並且識別成爲 enclosure,硬盤能夠辨認,並且組成 VD。

好吧,或者是 Chenbro 的固件寫得好 (發現原來 Expander 也有固件的~~),或者是 LSISASX12 太舊,或者是 Chenbro 經過幾次固件更新之後終于可以合乎 6Gbps Controller 的口味,反正,CK13601 工作如常~~

結論:Dell PREC H700 與 Chenbro CK13601 兼容



4、Dell PERC H700 與串聯 expander / load balancing 的兼容性

主要目的~~~我的預想就是希望:
1、H700 支持 load balancing,這樣就可以把所有 8-port 接到一個 RES2SV240 上。
2、H700 支持多 enclosure 串聯所以可以把另外一個 RES2SV240 接到第一個 RES2SV240 上 (同樣 8-port in/out)。
這樣理論上我就能夠得到可用的支持 load balancing 的 24-port,可以接 24 個設備,並且不用擔心會導致單通道擁擠(理論上 48Gbps 都可分配)。

由於另外一個 RES2SV240 還沒到,就先用 CK13601 代替:
H700 ==> RES2SV240 --> CK13601 --> CSE-M35TQ


[attach]1641835[/attach]

就如同我的猜想一樣,H700 默認的 MaxChainedEnclosures=1 阻止了這種連接方式:

PowerEdge Expandable RAID Controller BIOS
Copyright(c) 2010 LSI Corporation
Press <Ctrl><R> to Run Configuration Utility
HA -0 (Bus 133 Dev 0) PERC H700 Integrated
FW Package: 12.10.1-0001

There are 2 enclosures connected to connector 01, but only maximum of 1 enclosures can be connected to a single SAS connector. Please remove the extra enclosures then restart your system.

這種情況下,必須使用 megaoem 去修改參數。在把 MaxChainedEnclosures 調整到 16 (LSI 9260-8i 的值)后,系統可以啓動,並且可以識別所有的 enclosures:
[attach]1641836[/attach]
主界面也有顯示(backplane 還是 0):
[attach]1641838[/attach]
儘管下面的那些 Sensor bad on enclosure... 的警告看著刺眼,不過 H700 的確可以識別兩個 enclosures 了...

結論:Dell PREC H700 支持 enclosure 串聯 (在 MaxChainedEnclosures=16 的情況下),load balancing 未知,不過第一個 RES2SV240 可以啓動,貌似沒問題。


感覺上,Dell H700 無需刷其他卡的固件,因爲刷了就會損失一些高級功能。使用 megaoem 開啓一些設定就可以變成與其他同類產品差不多的功能。只是以下功能是沒有辦法開啓的:1、Dimmer Switch
2、Redundant Path
3、Alarm
4、Cluster

以下功能是能夠開啓的:
1、Hot spare, unused good spin down
2、Max LDs per VD set to 64 (H700 只有 16)
3、Max chained enclosures set to 16 (H700 只有 1)還有一些 SSD/HDD 或者 SATA/SAS 混合的能力也是可以開啓的。
(不知道 H800 是否也可以通過 megaoem 實現 sata 硬盤的支持呢?嘿嘿)

在特定情況下,H700 就變成可以内部使用的同時,外接更多的 enclosure,達到 H800 的部分能力。

Dell 整天就在恐嚇用戶,網站上面就說沒有 enclosure 支持,只支持 16 個硬盤,沒有 load balancing,不過貌似不是這麽一回事……





作者: per1-q1222    时间: 2011-9-25 19:17
本帖最后由 per1-q1222 于 2011-9-25 19:34 编辑

你已經把DirectPDMapping關掉了??...
DELL H700是有支持Dimmer Switch的..
LSI的Dimmer Switch分成三個級別..
H700不支持Ph.3的第三級別...

那個alarm沒有是因為那張HBA上面根本沒有H/W Alarm..

Load Balancing只要從-adpallinfo看..
有啟用那就代表啟用了..
不確定的話..
可以上傳一份TTY log(因為它可以直接看MFC參數..)..

LSI的MegaRAID產品全部都沒有MPIO...
第一次使用H700時...
不管如何..
二話不說...
馬上要先把DirectPDMapping關掉..
避免強啟用No Routing的Direct Routing造成更多問題......

作者: 五湖废人    时间: 2011-9-25 20:59
megaoem,求个下载和简易说明~~~
作者: per1-q1222    时间: 2011-9-25 21:23
五湖废人 发表于 2011-9-25 20:59
megaoem,求个下载和简易说明~~~

我之前不是有給你嗎?
作者: 五湖废人    时间: 2011-9-25 21:42
per1-q1222 发表于 2011-9-25 21:23
我之前不是有給你嗎?[dry>

那个不是megarec么?
作者: bye-007    时间: 2011-9-25 21:42
  有耐心,有想法。谢谢。
作者: 五湖废人    时间: 2011-9-25 21:46
per1-q1222 发表于 2011-9-25 21:23
我之前不是有給你嗎?[dry>

哦找到了- -和megarec在一起|||
作者: per1-q1222    时间: 2011-9-25 21:51
五湖废人 发表于 2011-9-25 21:46
哦找到了- -和megarec在一起|||

那東西能玩得不多...
因為LSI不可能公布完全的使用方式...
那東西連NVRAM的內容都可以改..
只是不知道要怎麼下手..
作者: 五湖废人    时间: 2011-9-26 08:56
per1-q1222 发表于 2011-9-25 21:51
那東西能玩得不多...
因為LSI不可能公布完全的使用方式...
那東西連NVRAM的內容都可以改..

回去慢慢研究下- -~~~~
作者: dracocephalum    时间: 2011-9-26 11:30
per1-q1222 发表于 2011-9-25 23:17
你已經把DirectPDMapping關掉了??...
DELL H700是有支持Dimmer Switch的..
LSI的Dimmer Switch分成三個級 ...

絕對關掉 DirectPDMapping -> 儘管不知道如果沒有關的後果,不過立即馬上把它干掉了,因爲聼起來太可怕了~~
我直接在 MFC 裏面關掉,然後 megaoem 的...

這個是 TTY log,不知道爲啥有一大堆 1999 年的東西,好像前幾天折騰的時候 log 進去的 >_< 那時候在想可不可以直接把 LSI 1068E 的 RAID0 直接 import,最後還是得把 400 GB 備份還原重建 RAID0,殘念……
[attach]1642334[/attach]

這個是 megacli 的 adpallinfo:

[attach]1642341[/attach]

Load Balance mode 是 uto,是否在有 expander 才會顯示 Enabled?還是 Auto 就是開了?



作者: dracocephalum    时间: 2011-9-26 11:38
五湖废人 发表于 2011-9-26 12:56
回去慢慢研究下- -~~~~

這是我現在正在用的設定:

[attach]1642352[/attach]

megaoem 修改設定的用法就是
megaoem -adpsettings -read -f MFC_EXT.ini -a0

如果系統有多於一個 LSI controller,H700 就可能是 -a1, -a2...小心別刷到其他卡了~~
反正要把 H700 變成支持籠子串聯那個 MaxChainedEnclosures 一定要修改 (16)...

如果你想讀取你自己的 settings,就用:
megaoem -adpsettings -write -f MFC.ini -a0

這樣你的設定就會保存到 MFC.ini 了~


作者: 五湖废人    时间: 2011-9-26 11:46
dracocephalum 发表于 2011-9-26 11:30
絕對關掉 DirectPDMapping -> 儘管不知道如果沒有關的後果,不過立即馬上把它干掉了,因爲聼起來太可怕了 ...

不关掉DirectPDMapping就连结EXPANDER的话,卡自检会提示需要关闭~~
作者: liliwinnt6    时间: 2011-9-26 11:47
这东西是"端口倍增器"?
作者: 五湖废人    时间: 2011-9-26 11:47
dracocephalum 发表于 2011-9-26 11:38
這是我現在正在用的設定:

多谢多谢~~~~
作者: dracocephalum    时间: 2011-9-26 12:07
liliwinnt6 发表于 2011-9-26 15:47
这东西是"端口倍增器"?

應該不是,端口倍增器好像是 port multiplier,好像是把一個 port 變成兩個,不知道需不需要芯片支持。expander 應該是通過擴展芯片的支持,把一堆 port (例如 H700 有 8-port),變成更多的另外一堆port (例如4-port 進去 CK13601,可以出來 28-port)...
作者: per1-q1222    时间: 2011-9-26 12:32
megaoem目前能玩的也只有那個-appsettings..
其他像是如何寫入persistent data等...
根本不知道要怎麼下手使用..
作者: per1-q1222    时间: 2011-9-26 12:33
dracocephalum 发表于 2011-9-26 11:30
絕對關掉 DirectPDMapping -> 儘管不知道如果沒有關的後果,不過立即馬上把它干掉了,因爲聼起來太可怕了 ...

在T35階段...
T35: Controller Properties: (All values are in hex)
T35:  seqNum=2, predFailPollInterval=12c, intThrottleCount=10
T35:  intThrottleTimeUs=32, rebuildRate=1e, patrolReadRate=1e
T35:  bgiRate=1e, ccRate=1e, reconRate=1e
T35:  cacheFlushInterval=4, spinupDriveCount=4, spinupDelay=c
T35:  clusterEnable=0, coercionMode=1, alarmEnable=0
T35:  disableAutoRebuild=0, disableBatteryWarning=0, eccBucketSize=f
T35:  eccBucketLeakRate=5a0, restoreHotSpareOnInsertion=0
T35:  exposeEnclosureDevices=1, maintainPdFailHistory=1
T35:  disallowHostRequestReordering=0
T35:  abortCCOnError=0, copyBackDisabled=0, SMARTerEnabled=0
T35:  prCorrectUnconfiguredAreas=1, useFdeOnly=1
T35:  disableNCQ=0, SSDSMARTerEnabled=0, SSDPatrolReadEnabled=0
T35:  enableSpinDownUnconfigured=1,  disableSpinDownHS=0,  autoEnhancedImport=0, enableSecretKeyControl=0, disableOnlineCtrlReset=0
T35:  enableJBOD=0
T35:  allowBootWithPinnedCache=0
T35:  LoadBalanceEnabled=1, useDiskActivityForLocate=0
T35:  OnOffProperties=c053dc28
T35:  autoSnapVDSpace=8, viewSpace=4, snapVDSpace=3
這表示確定已啟用...


作者: per1-q1222    时间: 2011-9-26 12:34
dracocephalum 发表于 2011-9-26 12:07
應該不是,端口倍增器好像是 port multiplier,好像是把一個 port 變成兩個,不知道需不需要芯片支持。ex ...

要將expander說成是一種PM設計也是可以的...
只是在層次上...
SATA的那種PM跟SAS expander是完全不同的檔次...
作者: dracocephalum    时间: 2011-9-26 13:13
per1-q1222 发表于 2011-9-26 16:33
在T35階段...
T35: Controller Properties: (All values are in hex)
T35:  seqNum=2, predFailPollInt ...

呵呵,多謝多謝,看見有 load balancing 就放心了,要不買了第二個 RES2SV240 沒有 LB 我要哭死了~~
作者: dracocephalum    时间: 2011-9-27 05:43
per1-q1222 发表于 2011-9-26 16:32
megaoem目前能玩的也只有那個-appsettings..
其他像是如何寫入persistent data等...
根本不知道要怎麼下手 ...

NVRAM 暫時不敢碰,等 H700 退役了再説~~
對了,per1-q1222 大知道 H700 的工作溫度高麽?
經過 Adaptec 的高溫事件后有點害怕~~夏天室溫30度的時候Adaptec 5805Z就達到90度...
之後加了風扇專門對著ROC抽熱才降到65度左右。
如果按照比例,H700 是 800MHz,Adaptec 5805Z 是雙核 1.2GHz,熱量就應該是Adaptec的1/3
以室溫30度為基礎,H700 工作溫度 = 30 + (90 - 30)/3 = 50 度?(好像有點低)
我已經幫H700換了導熱硅脂~~~用的是 IC Diamond,正在想是不是也要加個風扇~~~
作者: per1-q1222    时间: 2011-9-27 06:57
dracocephalum 发表于 2011-9-27 05:43
NVRAM 暫時不敢碰,等 H700 退役了再説~~[wacko>
對了,per1-q1222 大知道 H700 的工作溫度高麽?
經過 ...

LSI RoC的溫度都是很高的....
作者: stephenmaxmax    时间: 2011-9-27 09:58
本帖最后由 stephenmaxmax 于 2011-9-27 09:58 编辑

我的4U超微机箱里面有风道,即便这样,还是觉得有点热,于是弄了个PCI位的风扇对吹。。
我觉得大概那卡只有横躺放置并专门设计针对它的风道后才会凉快。

作者: dracocephalum    时间: 2011-9-27 10:47
stephenmaxmax 发表于 2011-9-27 13:58
我的4U超微机箱里面有风道,即便这样,还是觉得有点热,于是弄了个PCI位的风扇对吹。。
我觉得大概那卡只有 ...

立即關機,30秒内把卡取出,用紅外溫度計,量得散熱器表面最高溫度 45C, 41.5C, 40C
取最高值45C,當前室溫 18C,用黃金分割估算,結果平均運行溫度為:
18 + (45 - 18) / 0.618 = 61.69 C
好吧,62 度左右,好像比 Adaptec 5805Z 好多了。幸好換了散熱硅脂,到時候等 Adaptec 5805Z 轉移了再把風扇給 H700 好了 >_<
因爲怕噪音,機器風扇都在 30% workload,整機只有大約 250CFM 左右...看來還是不夠~
作者: idolclub    时间: 2011-9-27 12:56
dracocephalum 发表于 2011-9-27 10:47
立即關機,30秒内把卡取出,用紅外溫度計,量得散熱器表面最高溫度 45C, 41.5C, 40C
取最高值45C,當前室 ...

在沒有風扇散熱或機箱風道不佳的情況下DELL H700 RoC溫度隨時超過80C,即使達到了90C也不用感到意外
作者: shiori_2003    时间: 2011-9-27 13:05
很好的测试
作者: 五湖废人    时间: 2011-9-27 14:12
H700很烫,RES2SV240也很热~~~
作者: dracocephalum    时间: 2011-9-27 16:06
五湖废人 发表于 2011-9-27 18:12
H700很烫,RES2SV240也很热~~~

貌似RES2SV240也真的很熱~!
我現在有點“滿機都是CPU”的感覺……
弄火了咋就風扇全開,扔雜物房裏,耳根清淨,就不信 500CFM 吹不死它們~
作者: 五湖废人    时间: 2011-9-27 16:41
dracocephalum 发表于 2011-9-27 16:06
貌似RES2SV240也真的很熱~!
我現在有點“滿機都是CPU”的感覺……
弄火了咋就風扇全開,扔雜物房裏,耳 ...

家里地方太小,新房子一定考虑搞个专门的机房
搞个7*24的恒温空调系统,再配上群UPS模组+柴油发电机
配上几台MD3220i之类的存储就好
房间里的机器根本不需要大硬盘了
唉,买电脑配件便宜,买房子太贵啊......
作者: dracocephalum    时间: 2011-9-28 11:52
五湖废人 发表于 2011-9-27 20:41
家里地方太小,新房子一定考虑搞个专门的机房
搞个7*24的恒温空调系统,再配上群UPS模组+柴油发电机
配 ...

同感……搞好了機房記得通知,我把我機器放你那兒……
對了,你有測試過 PERC H700 的緩存麽?怎麽我的緩存性能看起來這麽詭異:

[attach]1644091[/attach]

不太明白,寫入比讀取快意味著???

作者: idolclub    时间: 2011-9-28 16:36
dracocephalum 发表于 2011-9-28 11:52
同感……搞好了機房記得通知,我把我機器放你那兒……[dry>
對了,你有測試過 PERC H700 的緩存麽?怎麽 ...

意味著H700的Cache正在起作用
作者: dracocephalum    时间: 2011-9-29 11:15
idolclub 发表于 2011-9-28 20:36
意味著H700的Cache正在起作用

同樣是Cache操作,不過寫入明顯比讀取快,這種現象正常麽?
換了4條不同的16x PCIe槽,全部一樣
有點擔心是不是 IOH 還是其他部件出毛病導致 Host -> Adapter 比 Adapter -> Host 要慢...




欢迎光临 POPPUR爱换 (https://we.poppur.com/) Powered by Discuz! X3.4