最全Facebook圖片存儲(chǔ)架構(gòu)技術(shù)

申請(qǐng)免費(fèi)試用、咨詢(xún)電話：400-8352-114

舊的相片根底架構(gòu)包括幾個(gè)條理：

◆上傳層接納用戶上傳的相片，測(cè)量原始圖像的巨細(xì)并將其保管到NFS存儲(chǔ)層。

◆相片效勞層接納HTTP相片懇求，并向用戶供應(yīng)保管于NFS存儲(chǔ)層的相片。

◆NFS存儲(chǔ)層樹(shù)立于貿(mào)易存儲(chǔ)設(shè)備之上。

因?yàn)槊總€(gè)圖像存儲(chǔ)在本人的文件內(nèi)，所以依據(jù)定名空間目次和文件inode（內(nèi)節(jié)點(diǎn)），在存儲(chǔ)層發(fā)生了很多的元數(shù)據(jù)。這些元數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超越了NFS存儲(chǔ)層的緩存才能，招致了上傳和讀取每張相片時(shí)成倍的I/O操作。整個(gè)相片效勞的根底架構(gòu)因?yàn)镹FS存儲(chǔ)層的很多元數(shù)據(jù)負(fù)荷而成為了一個(gè)瓶頸，這就是Facebook嚴(yán)峻依靠CDNs來(lái)供應(yīng)相片效勞的緣由之一。以下兩個(gè)附加的優(yōu)化擺設(shè)，用來(lái)在必然水平上減輕這個(gè)問(wèn)題：

Cachr ：一個(gè)緩存效勞層，用來(lái)緩存Facebook中較小的“小我材料”圖像。

NFS文件句柄緩存——擺設(shè)在相片效勞層，消弭了一些NFS存儲(chǔ)級(jí)元數(shù)據(jù)負(fù)荷

Haystack相片根底架構(gòu)

新的相片根底架構(gòu)將相片效勞層和存儲(chǔ)層兼并為一個(gè)物理層。它完成了一個(gè)基于HTTP的相片效勞器，把相片存儲(chǔ)在名為Haystack的通用對(duì)象中。關(guān)于新條理的首要要求是消弭任何相片讀取操作的不用要的元數(shù)據(jù)開(kāi)支，使每個(gè)讀取I/O操作只是讀取實(shí)踐相片數(shù)據(jù)（而不是文件系統(tǒng)元數(shù)據(jù)）。Haystack可劃分為以下一些功用層-

◆HTTP效勞器

◆相片存儲(chǔ)

◆Haystack對(duì)象存儲(chǔ)

◆文件系統(tǒng)

◆存儲(chǔ)設(shè)備

以下各節(jié)中，我們會(huì)自底向上親密存眷每一個(gè)功用層。

存儲(chǔ)設(shè)備

Haystack擺設(shè)于日常存儲(chǔ)片之上。一個(gè)2U存儲(chǔ)片的典型硬件裝備的是-

◆2 x 4核CPUs

◆16GB – 32GB內(nèi)存

◆具有256MB – 512MB NVRAM緩存的硬件RAID節(jié)制器

◆12+ 1TB SATA驅(qū)動(dòng)器

每個(gè)存儲(chǔ)片供應(yīng)大約10TB的可用空間，裝備為一個(gè)RAID-6分區(qū)，由硬件RAID節(jié)制器進(jìn)行治理。RAID 6供應(yīng)了足夠的冗余性和超卓的讀取功能，可以降低存儲(chǔ)本錢(qián)。RAID節(jié)制器NVRAM回寫(xiě)高速緩存可以局部緩解低質(zhì)的寫(xiě)功能。因?yàn)樽x取大多是隨機(jī)的，所以NVRAM緩存完全保存給寫(xiě)操作。磁盤(pán)高速緩存被禁用，以包管在系統(tǒng)解體或電源斷電時(shí)數(shù)據(jù)的一致性。