關於Storage一點心得跟筆記...

主要是一個朋友有這樣需求

一堆的影像檔案 In/Out 大圖的傳輸 及 2K realtime
需要建構 SAN 讓四個繪圖工作站 能夠抓取 SAN 中的資料 能夠 2K realtime play
希望 SAN 的讀取寫入 讓每一台工作站都能夠有 300 ~ 400MB/s
延伸了下面的一堆東西出來= =

他找了廠商估價
IBM/HP....還有我非常SUCK的DELL....基本上都是用FC HBA處理，一般家用或者商業用的OS的軟體支援性不好所以用SERVER板的OS處理。然後一估價...以千萬計價...真的是@#%%^%$#@%^*$#%$^&%

所以就找到我這邊來了...(默)
基本上這樣的系統大概可以分成三種

1. 使用NAS系統（NAS Head）
2. 使用SAN File Systems
3. 混合NAS Head和SAN File System

共同的挑戰是：

1. 2K或4K的串流，需要160MB/s、320MB/s甚至1200MB/s的IO頻寬
2. 使用者必須要即時的存取檔案，但不影響其他人
3. 需要支援異質系統，例如Windows、MAC、Unix
4. 資料轉移時，CPU負載不能太重
5. 伺服器內部的匯流排頻寬，必須足夠支撐同時多台Client存取
6. 網路傳輸的頻寬，FC 1G/2G/4G/8G，Ethernet 1G/10G或是InfiniBand
7. 因應資料量資加快速，必須提供檔案生命週期管理

NetApp採用的是NetApp F840 Filer，也就是NAS Head，特徵是應用NAS的檔案共用特性，但仍可保有高速的網路資料傳輸，以規格來看，應用10GbE，平均每個Client都可維持 100~150MB/s的頻寬，架構也比較簡單，沒有被綁死的問題，有計畫要擴充較多的Client，NAS Head是很好的選擇。

SAN File Systems是在SAN Storage上加入一個檔案層，Client通常需要安裝特殊的驅動程式，以及可能需要一台metadata伺服器，用來管理檔案屬性，架構上複雜許 多，特點是速度快，可以達到類似DAS的效率。因為Client必須和metadata服務通訊，才能達到檔案共用的目的，有可能會被廠商綁死，擴充性就 比較差一些。

第三種混和結構我就沒有研究 ~

這是HP的Solution，不過據聞售價有點@#(&!
http://h20208.www2.hp.com/cms/solutions/dm/ms/br/4AA0-5565ENW.pdf
http://h71028.www7.hp.com/enterprise/cache/260971-0-0-225-121.html?jumpid=reg_R1002_USEN

MelioFS
http://www.sanbolic.com/melioFS.htm

IBM:
http://www-306.ibm.com/software/tivoli/products/sanergy/
http://www.ibm.qassociates.co.uk/storage-software-totalstorage-san-filesystem.htm

StorNext:
http://www.quantum.com/StorNext/

SGI:
http://www.sgi.com/products/storage/tech/file_systems.html

PolyServe:
http://www.polyserve.com

DataPlow SFS:
http://www.dataplow.com

Apple Xsan
http://www.apple.com/xsan/

以上是靠杯花錢的方案

然後接下來是 窮人thx提供的方案
以下是他的說法

先從 block level and file level 說起

1.File level 下，Storage 不但提供磁盤空間，而且還提供文件系統功能，
因此，對於host server過來的request，Storage system 會通過
自身文件系統去查找相關目錄以及相關Security信息，
並返回給host server。

2.block level
SAN下，Storage只提供磁盤空間，
對於Host server過來的request command ,storage只是會把scsi command
承載與FC或者IP網絡傳輸給host server，最終由Host server

自身所帶的文件系統去接受並處理這些SCSI command，

在標準SAN
在SAN網中,一個卷 ( 如卷A, 或者LUN A) 可以讓所有的SAN工作站看到.
當工作站 1 看到LUN A 時, 將其格式並放上NTFS (或 HFS+) 文件系統.
但當工作站 2看到LUN A 時, 並不知道上面已經有了一個NTFS. '
工作站 2可能把自己的文件系統放在LUN A, 而摧毀本來在LUN A上的所有資料.
由此可見, 沒有文件系統管理軟件, SAN 是不可能真正共享的。

Sanfile system因此需求而來.可以讓所有機器共用或只讀某些卷. 並可針對lun做限控制管理
個人覺得才四台工作站, 剪接環境跟流程單純.個人覺得沒必要用到San file system.San file system 還要額外metadata server.成本跟維護不易.軟體授權費用也不低.

至於檔案讀寫會變成.先開才有權限先寫..基本在四台工作狀況下沒必要這樣複雜.

1.傳輸physical layer 用 FC 8G, infiniband 10G,Lan 10Gbe 可達到8Gbps 就可

2.機器...貴有貴的方式,像這種簡單應用環境,連FC 8G跟switch 可以不用買.

Mellanox 10GB infiniband pci-e 版卡 2 port 一張才us 140 * 6張...
硬體建議 x86 HP ML150 G6 可裝11 pcs hot swap HDD 的Tower x86 主機
http://phorum.study-area.org/index.php/topic,56771.0.html
如果喜歡機架式就買HP DL180 G6 12 bay 2U
插上二張 Mellanox 10GB infiniband 版卡 2 port = 4 port
可以分別對接.infiniband card 是以IP 再跑..(當做lan card)
這樣不到 14萬 超高速File level system storage 就可處理出來.(含軟體)

3.走FC 8G 成本會高很多.不過也行.但是會以FC IP為主跑 file level stroage
就當一台很高速的NAS.如果是雙 fc port.另外一port可設為 block mode模式
這樣可以掛載lun 做為更高速需求.或是系統boot用等

4.以上軟體可考慮用open-e 已將標準HP x86 server ,raid ,fc ,infiniband
都整合進去, 想到的中階功能都有了.包含raid hot swap ,rebuild.機器狀況監控.動態擴充lun,快照等....