題 FaceBook如何構建具有12個以上硬盤的服務器


FB博客

...部署在商品存儲刀片之上。 2U存儲刀片的典型硬件配置是 -

  • 2個四核CPU
  • 16GB - 32GB內存
  • 硬件raid控制器,256MB - 512MB NVRAM緩存
  • 12個1TB SATA硬盤

有人可以告訴我他們使用的確切部分。

我知道你可以獲得可以佔用2個cpus的主板,我可以獲得可以容納16 GB內存的主板,但是如何連接12個驅動器呢?


4


起源




答案:


12個1TB硬盤?花生,想想大! :)

德州記憶系統 啟動 的RamSan-6200 SSD系統提供高達100 TB的基於閃存的產品   存儲在40U機架配置中   這可以維持500萬的記錄   每秒輸入/輸出(IOPS)   每秒60千兆字節的吞吐量   而使用超過6千瓦的一點點   權力

alt text

所有這一切都是高達440萬美元的高價,你聽到我,聖誕老人? :)

(也許RAMinSANe會是一個更好的名字)

但如果只有12個驅動器就可以了,那麼你將獲得一個帶控制器的SATA 12驅動器外殼(速度> 500MB / s),售價約為1.000美元

alt text


6



關於FB,這是這個問題的背景。他們當然不會使用這樣的外殼。 - MDMarra


我討厭挖掘這麼老的問題,但這些答案需要幫助。有許多不同的2U機箱具有12x3.5“熱插拔托架(3個垂直x 4水平 - 參見Supermicro的SC826),甚至還有一些還有一個內部托架或兩個(http://www.servaris.com/servers_m2100.php)。它很密集,但並非不可能。如果你想變得有點瘋狂,Supermicro的SC847支持4U(無主板)的45個熱插拔驅動器托架或E-ATX主板的36個熱插拔驅動器托架,有人用48個垂直熱插拔托架(RMC5D2)支持E的空間-ATX板和我想5U中的7張全尺寸卡。

我相信這是為了 Facebook的Haystack系統 對於照片,他們使用RAID 6控制器連接2U機架式服務器中的12個驅動器。您可以購買仍然支持12個驅動器或使用轉接卡的低調產品。作為他們的一部分 2012年IPO備案他們透露,他們正在存儲“超過100PB”的照片和視頻。即使使用較新的4和6 TB驅動器,這些機器也很多。

Facebook還使用100多個PB Hadoop系統來分析網站上發生的所有事情(多個TB /天)。它跳過RAID磁盤陣列,通過將大文件分成64MB塊並將每個塊寫入多台機器,使整個機器變得多餘。為此,您可以獲得一個帶有8個端口的主板,並且可以廉價地添加4個非RAID端口。我很確定這些機器沒有那麼多驅動器,但這項技術是基於Google正在做的事情。谷歌確實有12個驅動器無RAID機器機架,以及許多有趣的計算機設計。它們幾乎足以使定制部件成為商品硬件的批量訂單。

您可以在Facebook的不同類型的服務器上觀看視頻 這裡

Facebook最近有些公佈它支持在一個2U開放式機架30驅動打開保險櫃存儲系統(相同的總體櫃的寬度,但是21“寬的內部VS標準19”)。有2個獨立的1U托盤從機箱中拉出,每個托盤有15個驅動器(5個寬x 3深)和2個SAS擴展器。 YouTube上的影片表示將各30 3.5“驅動器托架已填入2×2.5”SSD的,與12G SAS相結合,這將給一些嚴重的IO電源的系統。根據SSD製造商的說法,一個單元可以支持500萬IOPS。一個完整的內閣將支持超過9000萬的IOPS和170 GB / s的帶寬(接口限制)和SSD存儲的1 PB(高達3.2 PB注入氦氣的旋轉盤的)。如果您只是想將它用於非常好的NAS,那麼就有一個Open Compute服務器,它使用Open Vault和ARM服務器主板。

更有趣的是,Facebook正在嘗試使用藍光進行冷藏(如果有的話,數據不會被訪問)。他們的原型系統有10,368個光盤,每個光盤可容納100GB,並存儲大約1 PB的數據。他們有一個機器人拾取器,可以從一個可容納24個彈匣的機架上訪問光盤,每個彈匣有36個墨盒,每個墨盒有12個光盤。一旦他們得到了錯誤和功能調整,我預計10,000光盤藍光轉換器將成為開放計算項目的一部分。


5



我認為原始問題中的關鍵詞是“刀片” - Joel Coehoorn
他們說它是一個2U刀片,而不是你在7U中擁有10台服務器並分享大量資源的刀片。如果您擁有100個完全相同,冗餘的2U服務器的機櫃,它們可以一起工作,那麼它們就會像小型刀片系統一樣。 - jbo5112


我認為原來的FB帖子有點誤導。如果他們使用存儲刀片,則這些刀片旨在連接到外部存儲陣列。例如,刀片本身將運行Windows Storage Server,但您不會將數據存儲在該刀片上。您可以將2U SAN陣列連接到該刀片,該陣列可容納12個熱交換機架,3.5英寸或24個托架,2.5英寸。


2





我使用視頻,因為沒有1TB和3年前的驅動器,我搜索了類似於你的解決方案。你必須有你想要的內部或外部RAID控制器。我發現一個公司,在這種東西的交易,它是(至少對我來說)某種為接受的價格創造出巨大的存儲系統中的天堂。

http://www.addonics.com/

例如:

http://www.addonics.com/products/raid_system/rack_overview.asp


1





看服務器1U,2U 3U 4U,那些適合服務器機房的機架。

像那些 http://www.supermicro.com/products/system/2U/

您可以查看Dell,HP,IBM服務器等等。

他們可以支持8個硬盤驅動器,還有一些硬盤驅動器。


0



那些2U盒子最多可以驅動8個驅動器(4x2) - Captain Segfault


連接12+盤到一台機器並不難 - 你得到它與12 + SATA端口RAID控制器,或者您使用的SATA擴展,或SAS RAID控制器。

難點是將12個3.5英寸驅動器裝入2U;我不知道你可以打開一個3.5英寸驅動器垂直,只有2U,你是不會以適應2U 12驅動器或者不這樣做,或者在框中buring某些磁盤(使他們不熱,可拆除)。


0





正如其他人所提到的,有許多不同的選擇可以將12個1TB驅動器安裝到2U中。雖然3.5英寸驅動器必須是水平的,以適應該空間,2.5英寸驅動器,如 西部數據天蠍座藍WD10TPVT 將垂直放入2U。你可以得到一個 超微S216 基於2U的24英寸2.5英寸驅動器,以及兩個12端口sata raid控制器(如此) 3ware 9550SXU-12)將它們連接起來。


0