POPPUR爱换

标题: DELL H700確認的一些議題... [打印本页]

作者: per1-q1222 时间: 2011-2-5 13:02
标题: DELL H700確認的一些議題...
本帖最后由 per1-q1222 于 2011-2-5 13:03 编辑

我大概對這張做了一些基礎資訊整理. 各位有興趣參考看看就好....:lol
裡面資訊會更新一段時間...
要做一些確認...
========================================================
就目前的RAID HBA產品中, DELL H700算是不錯的選擇, 採用LSI的LSISAS2108 RoC, 對SAS 2.0完善支持, 提供了完整的Hardware RAID特徵, 加上還加贈已知的三種LSI高階軟體服務, 額外的CTF NVCACHE提供一定程度的資料安全性, RAID性能遠強於LSISAS1078產品.
[attach]48823[/attach]
上圖來自Intel的一份SAS 2.0產品文件, 其中表明了Hardware RAID特徵, 附接在Memory Controller的Hardware XOR Assist能有效提供在Advanced RAID Mode額外的overhead加速運算, DMA Engines+Fusion-MPT應該是一個I2O設計, 連接在32bits OPB bridge的Peripherals對低速的周邊提供了支持, 增強的PPC440 800MHz core比LSISAS1078 PPC440 500MHz core有更強的性能, 負責相關RAID計算以及協調I/O操作服務, LSI 6Gb/s RAID產品實作了PCIe 2.0規格, 大幅緩和HBA和Host之間的頻寬瓶頸. 高速crossbar架構的128 bits PLB讓RoC的內部頻寬足以充裕.
提供CTF NVCACHE是目前LSISAS2108產品中, 只有在DELL產品可以看到的一種資料安全性設計, 為了解決dirty cache問題, 允許配置BBU和Super Cap., 可惜的是目前看到的都是BBU設計, BBU穩定性和壽命遠不如Super Cap.設計, 不過DELL的BBU價格都不高.

Intel新型的RSVB080的LSISAS2108 RoC產品暗示了LSI可能會推出類似CTF NVCACHE的服務支持.
DELL H700對於BBU支持形式有兩種, 一種是Remote BBU, 另外一種則是不常見的TBBU形式. 這兩者對於BBU的安裝上有不同的差異.

上述這張圖表明了差異性, Remote BBU設計作為在機箱上BBU被放置在其他地方, 透過主卡上的pin connector去連接, 而TBBU則是透過Cache Memory上的pin connector來連接嵌在Cache Memory上. 正規來說透過RBBU形式, BBU跟HBA距離是相遠的, 而TBBU是相近的, 這兩者的最大差異只有形式上的問題. 不過TBBU有一個好處, 由於包含了溫度感測功能, 透過BBU除了探測BBU本身的溫度之外, 其他包括RAID HBA和Cache Memory的溫度狀況也可以一併探測.
到現在為止, LSI已經包含了 RoC溫度感測功能, 只是仍未實現, 但是透過megacli下入adpallinfo可以看到有該資訊(value=absent).

上圖可以看到應用BBU的溫度感測得知BBU的當前狀況, 也可以一併得知周遭的環境溫度. 當然也有人認為RBBU形式將BBU放置在較遠處, 有助於對BBU壽命延長, 因為可以避免溫度過高導致BBU毀損機會增加. 不管是RBBU或著TBBU也好, 只是形式上的差異, 你也可以將BBU放在HBA較近處, 例如嵌在Cache裡面,再將power cable接在RBBU接口也可以. 目前看的DELL H700的BBU連接方式大多都是這種形式.

上圖的Intel的表格提供了LSISAS2108 RoC對應Mainstream以及Performance市場能提供的支持, Performance定位在Internal RAID產品, 對於DELL來說就是H800, 而Mainstream則是H700, 最後Entry為LSISAS2008的低端RAID產品, 提供極為有限的RAID性能與服務支持, 主要作為Pure HBA的應用. Mainstream對應DELL H700對於每個VD能支持的最大PD數量可以達到32顆, 一個DG則是包含最大PD x32,也就是說, max PD count per RAID config=max PD count per DG=max max PD count per controller.
Entry的LSISAS2008可以明顯看出作為Pure HBA應用支持的PD數量要高於Mainstream的LSISAS2108 RoC, 而Performance部分則是可以達到最大級數的PD數量支持.Bad block的管理(managed)特徵表示Patrol Read功能的差異, LSISAS2108要遠強於LSISAS2008.

這張圖是我修改過後的LSISAS2108架構圖, cable部分支持SFF-8485標準, 帶SGPIO輸出對於blackplane提供LED control做有效的控管, NVSRAM儲存RAID config以及透過write journaling建立checkpoint保證一定程度的資料安全與一致性, PCIe 2.0規範支持了MSI-X特徵, 在I/O中斷處理上對於SMP/CMP架構系統能提供有效的負載. 在DELL H700部分, LED control這邊有個地方要稍微注意.

上圖看到DELL H700不像其他LSISAS2108 RoC產品, 對於LED control僅能支持SFF-8485標準, 透過cable帶SGPIO輸出, 意味著某些特殊的backplane, 像是僅帶I2C接口或著透過其他pin connector去連接的, 要說聲抱歉了. DELL H700無法提供其他LED control支持.

上圖這款抽取模組是Intel的比較特別的抽取模組, 6 bays設計, 支持SATA/SAS, 但是卻只有兩個SATA port, 意味著HBA與Expander之間會有很大的頻寬瓶頸, 這款抽取產品可以看到他只有I2C接口, 除此之外, 沒有其他LED control控制方式. 可以看出像這樣的類似設計對於DELL H700來說是無法使用的.
在LSI的目前LSISAS2108產品線下, 最新版本的MegaRAID支持了對於PD上的溫度探測支持.

上圖可以看到透過MSM資訊確實可以得知PD上的溫度訊息, 可惜的是, DELL H700目前完全不支持這項特性.

可以看到H700透過MSM完全沒顯示當前的PD溫度狀況. 透過megacli下adpallinfo得知相關訊息.

上圖是MegaRAID SAS 9260系列透過adpallinfo所得知的PD部分資訊, Support Temperature表明支持了對PD上的溫度探測. DELL H700必須尚待下個f/w有無機會去支持該項特性.
LSI對於LSISAS2108提出了高階軟體服務用來提升該RoC產品的使用價值, 不過他不是免費的. 高階軟體服務包含了四大支持:
CacheCade: 透過SSD做為二級快取支持. 此外他是RAID 0架構, 同時應用FastPath技術增強二級快取效能.
FastPath: 對SSD提供最短的存取路徑, 大幅提升IOPS效能. 對Access Time有正面效益.
Recovery: 提供硬體層級的快照功能.
SafeStore: 透過HDD賦予加密功能, 這個前提是HDD必須支持SED. 這是SAS 2.0才有的.
DELL H700囊括其三, 使其更為超值性. 不過有些名稱不太一樣就是了.
Cut-through IO (CTIO) => FastPath
CacheCade => CacheCade
SED support => SafeStore

上圖是透過MSM呈現出來的支持資訊, 如果拿MegaRAID SAS的LSISAS2108 RoC產品相比, 出現的資訊小有不同.

這張是原廠呈現的資訊, 完全對應其高階軟體服務名稱.
LSI的高階軟體服務其實還包括了RAID 5&6的支持特性, 在某些產品必須搭配RAID key才能啟動Advanced RAID mode支持, 只是它並不歸類在LSI的高階軟體項目裡面.

在LSI有提供一種節能技術, 稱為Dimmer Switch, 這是自MegaRAID 3.6版所加入的一項技術. 早期LSISAS1078所提供的Dimmer Switch功能性不強, 只能針對Unconfigured Drive進行PowerSave操作(稱為Phase I), 可以說是圖名無實. 同樣DELL的LSISAS1078產品僅能支持Phase I. 至MegaRAID 4.3版後, 增加了對Hot Spare Drive進行PowerSave的操作, 稱之為Phase II, 這時Dimmer Switch算是顯得有點用處. 到新版的MegaRAID 4.6版, Dimmer Swicth可以說是徹徹底底的被大幅強化, 可以支持針對Configured Drive的PowerSave操作, 除此之外, 還可以設定不同的節能策略以及時段. 這時可以說Dimmer Switch確實完全發揮作用了. 如果是使用SAS硬碟支持T10 Power State的話, 可以充分發揮Dimmer Switch最大效益.

LD支持T10 Power State, 因為PD支持的情況下. 在SAS HDD能支持的節能操作, 我們根據Seagate的PowerChoice文件可以發掘:
Idle_C/Standby_Y (僅限 SAS)
• 停用大部分的伺服系統、降低處理器和通道
耗電量
• 磁頭已卸載至停放區。
• 硬碟機降至較低轉速 (降低 RPM)
這個所帶來的效果是極其明顯的, 如果是SATA硬碟的情況下, 同樣可以操作Power Save, 只是不會比SAS來的有優勢. 但很可惜的是目前DELL H700尚未支持對Configured Drive的Power Save. 也無法調整相關的節能策略. 必須要等待下一個f/w更新是否支持這項強化的節能技術.
最後要注意的是, DELL H700是OEM產品, 對於backplane或expander相容性會有敏感性, 運氣不好是完全不相容. 像是接在Supermicro的產品上, 有可能會有這種情況發生. 相容性問題是三不管地帶, 沒有任何廠商會理你的.
1. LSI不會管你, 因為你是用OEM產品.
2. 該backplane或著expander製造商不會理你, 因為你是用OEM產品, 請跟OEM廠商連絡.
3. 跟DELL聯絡, 請確認你的其他backplane或著expander產品是用DELL的.
目前從價格來看, DELL H700加上CTF CACHE和BBU不到台幣15000元就能跟MegaRAID SAS 9260系列(加BBU與CacheCade)相比較, 因為LSI的產品是很昂貴的. 撇除相容性問題來看的話, 預算不高的情況下, 此產品極其有優勢性. 不管是價格和性能.

作者: stephenmaxmax 时间: 2011-2-5 14:20
本帖最后由 stephenmaxmax 于 2011-2-5 14:29 编辑

嗯，对h700来说，如果要接背板，兼容性是必须要考虑的问题，不过不接背板或无兼容性问题，h700真的很超值。

对于硬盘省电的问题。我想如果刷it fw变成纯hba之后，应该可以支持到操作系统的电源管理，因为连所有最低阶的hba都支持这个功能，我试过的板载以及Sil都可以，不过年后我会拿sas2008做具体测试。

举个例子，在windows下电源管理开了自动停转硬盘之后，因为NTFS文件系统不像*nix那样频繁的主动去操作磁盘，所以不在阵列中的硬盘可以停转。当然前提是不做阵列和用ntfs(也有例外，据我所知unRaid可以停转阵列中的硬盘)。

OS磁盘电源管理(win7,vista)是蛮有用的功能，但是这个版块很多人都装好系统后就去关闭。。。试想下一个24盘系统，同一时刻只有2-3块盘在转，对电源节省量和盘的寿命都非常好。另外对于绿盘，盘进入节电状态不转时，c1不会涨，这也是我发现我的盘的c1没有其他人绿盘c1数值那么离谱的原因（虽然是后来才想明白）。。

作者: per1-q1222 时间: 2011-2-5 15:35

stephenmaxmax 发表于 2011-2-5 14:20
嗯，对h700来说，如果要接背板，兼容性是必须要考虑的问题，不过不接背板或无兼容性问题，h700真的很超值。 ...

你這種是以軟體觸發中斷請求這些服務...
顯然以硬件層級方式處理...
會顯得更有效率'...!!!
甚至可以達到某種程度的最佳化....

作者: stonecold 时间: 2011-2-5 23:29
本帖最后由 stonecold 于 2011-2-5 23:36 编辑

stephenmaxmax 发表于 2011-2-5 14:20
嗯，对h700来说，如果要接背板，兼容性是必须要考虑的问题，不过不接背板或无兼容性问题，h700真的很超值。 ...

H700 刷LSI 原厂FW就能支持省电功能了，我已经做小白试了；DELL的FW暂时不支持省电功能

作者: stephenmaxmax 时间: 2011-2-5 23:41
哦，刷了那固件，阵列中的硬盘也可停转？不是只能停转热备盘和阵列外的盘吗？
阵列中的盘停转岂不会导致掉盘？。。

作者: per1-q1222 时间: 2011-2-5 23:56
原本就有省電技術了...
LSI稱為Dimmer Switch
先說好..
不是沒有..
是有的!!!....
只是功能比較弱而已....
MegaRAID 4.6版後已大幅強化Dimmer Switch技術...
讓Configured Drivers也可以進行節能操作..
並且設定相關策略和時間...

我在第一帖中已經講過了

作者: per1-q1222 时间: 2011-2-6 00:01
本帖最后由 per1-q1222 于 2011-2-6 00:02 编辑

stephenmaxmax 发表于 2011-2-5 23:41
哦，刷了那固件，阵列中的硬盘也可停转？不是只能停转热备盘和阵列外的盘吗？
阵列中的盘停转岂不会导致掉 ...

我認為這要看HDD的節能特性...
SATA和SAS有所不一樣..
就我在SAS的測試下..
支援T10 Power State(only for SAS)..
可以讓節能達到最大化...

不可能掉盤...
掉盤還得了..
鐵定被罵到臭頭...

刷了LSI原廠的f/w..
可能得放棄原有的高階軟體服務...
http://we.pcinlife.com/thread-1599956-1-1.html

在這方面我只能說Seagate的節能技術較先進...

作者: stonecold 时间: 2011-2-7 13:18
本帖最后由 stonecold 于 2011-2-7 13:19 编辑

奇怪了，我接了SSD后，没有CREATE CACHECADE 那个选项，格式化过SSD也没有，SSD是INTEL 40G 一颗， H700 FW 是 DELL最新版本。。感觉会不会LSI设定了最低SSD 容量限制，40G的得2颗才有CACHECADE功能。。

欢迎光临 POPPUR爱换 (https://we.poppur.com/)