數(shù)據(jù)中心的增長(zhǎng)
對(duì)于IT業(yè)界的某些人士來(lái)說(shuō),近距離探訪(fǎng)某處具體的數(shù)據(jù)中心其實(shí)與別的上千家數(shù)據(jù)中心并沒(méi)有什么不同:他們看起來(lái)感覺(jué)都沒(méi)什么太大的差別:一行行的機(jī)架、高架地板、無(wú)處不在的線(xiàn)纜以及數(shù)以百萬(wàn)計(jì)的電燈構(gòu)成了典型的數(shù)據(jù)中心訪(fǎng)問(wèn)體驗(yàn),您甚至可能會(huì)認(rèn)為數(shù)據(jù)中心的設(shè)計(jì)藝術(shù)現(xiàn)在已經(jīng)被一套優(yōu)良的科學(xué)所取代。
然而,對(duì)于諸如微軟、亞馬遜、谷歌這樣的云服務(wù)巨頭來(lái)說(shuō),數(shù)據(jù)中心并不是一成不變的。相反,隨著服務(wù)器變得越來(lái)越強(qiáng)大,電力變得越來(lái)越便宜,計(jì)算機(jī)對(duì)于電力資源的需求越來(lái)越不那么依賴(lài),并且計(jì)算規(guī)模變得越來(lái)越大,使得一代代的數(shù)據(jù)中心也不斷發(fā)展演化。這些云服務(wù)巨頭擁有數(shù)百萬(wàn)臺(tái)在不同層面上運(yùn)行的服務(wù)器的數(shù)據(jù)中心,其操作運(yùn)營(yíng)是受到嚴(yán)密保護(hù)的,因?yàn)樗麄兌紝⑵鋽?shù)百萬(wàn)臺(tái)服務(wù)器的運(yùn)行方式視為自身的一項(xiàng)競(jìng)爭(zhēng)優(yōu)勢(shì)。
上個(gè)月,我有幸受邀成為探訪(fǎng)團(tuán)的成員之一,得以能夠走進(jìn)微軟公司位于華盛頓昆西的數(shù)據(jù)中心進(jìn)行幕后一覽:零距離體驗(yàn)微軟所宣稱(chēng)的數(shù)據(jù)中心的演變。我們的探訪(fǎng)團(tuán)是不允許拍照的,但微軟公司提供了一些圖像,是與我們?cè)跀?shù)據(jù)中心現(xiàn)場(chǎng)所見(jiàn)到的完全匹配的。下面,就請(qǐng)廣大讀者諸君跟隨我們來(lái)看看云計(jì)算和超大規(guī)模計(jì)算是如何改變了數(shù)據(jù)中心的運(yùn)營(yíng)方式的吧。
昆西:數(shù)據(jù)中心園區(qū)和云服務(wù)
美國(guó)華盛頓州的昆西不僅是華盛頓州重要的農(nóng)作物產(chǎn)區(qū),同時(shí)也是微軟公司的一處老式公共數(shù)據(jù)中心所在地,其始建于2006年。下圖展示的僅僅只是該占地面積達(dá)270英畝、構(gòu)成了龐大的昆西數(shù)據(jù)中心園區(qū)的一部分,該數(shù)據(jù)中心園區(qū)承載了各種工作負(fù)載。 (此外,微軟Azure云服務(wù)基礎(chǔ)設(shè)施正在與當(dāng)前設(shè)施相鄰的位置上興建,由于其當(dāng)時(shí)正在建設(shè)過(guò)程中,所以我們不允許訪(fǎng)問(wèn)該Azure云服務(wù)基礎(chǔ)設(shè)施)。
微軟選擇了昆西作為其數(shù)據(jù)中心園區(qū),是因?yàn)樵摰貐^(qū)具有相對(duì)溫和的氣候,濕度低且接近哥倫比亞河,故而擁有非常便宜且豐富的水力發(fā)電的來(lái)源,以供給給其數(shù)據(jù)中心日益增長(zhǎng)的服務(wù)器設(shè)備。而該地區(qū)的氣候條件本身又為數(shù)據(jù)中心使用絕熱冷卻提供了絕佳的機(jī)會(huì),使得數(shù)據(jù)中心能夠通過(guò)讓外部空氣與不同程度的水混合,為數(shù)據(jù)中心園區(qū)的大多數(shù)操作空間提供冷卻需求。 (其他提供商在該地區(qū)也投資興建了數(shù)據(jù)中心,包括雅虎公司。)
事實(shí):微軟于1989年在其位于華盛頓州雷德蒙德的公司總部投資興建了其第一處數(shù)據(jù)中心。
傳統(tǒng)的數(shù)據(jù)中心運(yùn)營(yíng)方法或所謂的 第一代數(shù)據(jù)中心
昆西數(shù)據(jù)中心的一部分就像你所能夠想象到的那樣:擁有一排排的機(jī)架、服務(wù)器和網(wǎng)絡(luò)設(shè)備。這些操作環(huán)境機(jī)房一般大都是通過(guò)大型空調(diào)來(lái)實(shí)現(xiàn)冷卻的,因?yàn)閿?shù)百臺(tái)服務(wù)器風(fēng)扇的散熱會(huì)使得操作環(huán)境溫度升高。(這就是為什么許多數(shù)據(jù)中心運(yùn)營(yíng)商會(huì)吐槽說(shuō),他們主要運(yùn)行一款大型空調(diào),順便在里面扔了幾臺(tái)電腦的原因所在了。)
在微軟所謂的 第一代 數(shù)據(jù)中心,其傳統(tǒng)數(shù)據(jù)中心創(chuàng)造了熱通道的設(shè)置,以容納來(lái)自機(jī)架上設(shè)備所散發(fā)的廢熱;這些通道都采用傳統(tǒng)的冷水機(jī)組,通過(guò)往高架地板傳輸冷卻空氣來(lái)實(shí)現(xiàn)空氣溫度的調(diào)節(jié)。當(dāng)然,這些冷水機(jī)組需要消耗大量的電力資源。熱通道采用絕緣塑料密封以限制散熱。機(jī)架的前面暴露于正??諝庵?,而不是絕緣,因此更容易被訪(fǎng)問(wèn),以便服務(wù)于工作或進(jìn)行故障排除。這樣所導(dǎo)致的結(jié)果是:形成了一個(gè)服務(wù)器機(jī)房的一個(gè)傳統(tǒng)的模式,因?yàn)闊峥諝獾母綦x,實(shí)現(xiàn)了冷卻和能源成本的顯著下降。
有趣的是,這些室內(nèi)機(jī)械設(shè)備的占地面積正在不斷縮小。昆西園區(qū)的每一部分都被認(rèn)為是一處具有一定兆瓦數(shù)量級(jí)的數(shù)據(jù)中心。隨著時(shí)間的推移,服務(wù)器和網(wǎng)絡(luò)硬件變得更高效,相應(yīng)的設(shè)備將越來(lái)越多的被整合到越來(lái)越少的機(jī)器設(shè)備上,而這些硬件設(shè)備所需要的以維持其運(yùn)行的電力資源也在變得越來(lái)越少。其結(jié)果是,建造一處具備一定數(shù)量兆瓦級(jí)的數(shù)據(jù)中心設(shè)施的一部分已經(jīng)不再接近其容量需求了。我們參觀(guān)時(shí)所被允許看到的分隔操作空間的大部分都是空的,有凸起的高架地磚卻沒(méi)有支撐任何東西。
事實(shí):微軟的數(shù)據(jù)中心24x7x365全天候的為200多種在線(xiàn)服務(wù)提供交付服務(wù)。
容器集裝箱式的服務(wù)器和網(wǎng)絡(luò)
在世紀(jì)之交時(shí),微軟公司在構(gòu)建新的數(shù)據(jù)中心時(shí)開(kāi)始嘗試容器集裝箱化其服務(wù)器負(fù)載。微軟基本上是在一個(gè)盒子中設(shè)計(jì)了具有一定規(guī)范的數(shù)據(jù)中心,并邀請(qǐng)大型計(jì)算供應(yīng)廠(chǎng)商競(jìng)爭(zhēng),提供一個(gè)充滿(mǎn)了服務(wù)器、網(wǎng)絡(luò)設(shè)備、電源和UPS的 pod 。而微軟公司所需要做的就是將它們接入電源,提供上游網(wǎng)絡(luò)的任何所需,并且當(dāng)他們被交付到數(shù)據(jù)中心站點(diǎn)時(shí),直接采用軟管進(jìn)行冷卻。
對(duì)于這一容器集裝箱的概念有各種不同的版本和修訂,微軟將其稱(chēng)為 ITPAC ,其中兩種如下圖所示。
這僅僅只是將數(shù)據(jù)中心視作為一個(gè)單一單元的開(kāi)始,而不是將其視作為需要實(shí)施管理的數(shù)千臺(tái)離散的服務(wù)器 當(dāng)您企業(yè)需要管理超大規(guī)模的計(jì)算時(shí),這無(wú)疑是相當(dāng)重要的一點(diǎn),而微軟Azure一定是合格的分類(lèi)。我們看到:微軟公司在其產(chǎn)品中推出了軟件定義的網(wǎng)絡(luò)和數(shù)據(jù)中心,但這主要是因?yàn)槭褂密浖x的網(wǎng)絡(luò)只是企業(yè)客戶(hù)如何管理組成其在線(xiàn)服務(wù)的數(shù)百萬(wàn)臺(tái)服務(wù)器的方式。
通過(guò) ITPAC 訂購(gòu)數(shù)千臺(tái)服務(wù)器和網(wǎng)絡(luò)設(shè)備,企業(yè)客戶(hù)可以輕松地忽略各個(gè)硬件設(shè)備所做的具體工作 您企業(yè)可以輕松地使用系統(tǒng)管理軟件重新定義路由、工作負(fù)載、故障轉(zhuǎn)移流程等等。
事實(shí):微軟公司證實(shí),在其數(shù)據(jù)中心有超過(guò)一百萬(wàn)臺(tái)獨(dú)立的物理服務(wù)器。
ITPACS
起初,微軟(從某家大型的OEM廠(chǎng)商)訂購(gòu)了ITPAC,并計(jì)劃將它們存儲(chǔ)在具有混凝土地板、安全墻壁和一個(gè)簡(jiǎn)單的屋頂?shù)牟黄鹧鄣募軜?gòu)中,這將有助于保持穩(wěn)定的溫度和濕度。下圖的照片顯示存儲(chǔ)ITPAC的初始設(shè)施。這實(shí)際上不是一個(gè)冷卻設(shè)施,事實(shí)上,該ITPACS是在屋頂安裝之前就已經(jīng)投產(chǎn)操作了的。這是因?yàn)槊颗_(tái)ITPAC都有其自己的冷卻集成;其實(shí)際上是一個(gè)獨(dú)立的數(shù)據(jù)中心。一個(gè)有趣的故事是:在昆西的寒冷的冬天,當(dāng)屋頂仍然打開(kāi)時(shí),雪會(huì)落下并覆蓋到這些設(shè)施的一部分上面。你在左邊看到的被添加的擋板在大部分時(shí)間用以保持自然狀態(tài)。
事實(shí):微軟在全球范圍內(nèi)擁有100多處數(shù)據(jù)中心。
擺脫建筑物
如果你將前幾代ITPAC分類(lèi)為 容器服務(wù)器 ,那么您從第二波的ITPAC趨勢(shì)中所學(xué)到的教訓(xùn)便是要 擺脫這種糟糕的建筑物 。在昆西數(shù)據(jù)中心園區(qū)里,安置了一排排最新一代的ITPAC,隨便被安置在混凝土地面之上。由于這些單元是獨(dú)立的,因此像在昆西這樣的具有相對(duì)溫和氣候的地方暴露于天氣和自然環(huán)境中的數(shù)據(jù)中心容器的風(fēng)險(xiǎn)非常小。
鑒于微軟已經(jīng)打造了其Azure云服務(wù),而且正在將越來(lái)越多的個(gè)人在線(xiàn)服務(wù)遷移到Azure平臺(tái),該公司已經(jīng)遠(yuǎn)離了ITPAC模式。這種模型根本沒(méi)有足夠的規(guī)模來(lái)處理微軟正在經(jīng)歷的云服務(wù)的增長(zhǎng)。相反,該公司正在尋求購(gòu)買(mǎi)成千上萬(wàn)臺(tái)自定義設(shè)計(jì)的服務(wù)器作為開(kāi)放式計(jì)算項(xiàng)目的一部分。
事實(shí):微軟的數(shù)據(jù)中心存儲(chǔ)了超過(guò)30兆單獨(dú)的數(shù)據(jù)。
ITPAC內(nèi)有什么?
微軟最初是為其芝加哥數(shù)據(jù)中心指定打造該ITPAC基礎(chǔ)架構(gòu)的。該款第一代的ITPAC從來(lái)沒(méi)有在昆 西數(shù)據(jù)中心園區(qū)服務(wù)過(guò),所以我們無(wú)法看到它,或?qū)⑵渑c后幾代的ITPAC進(jìn)行比較。然而,其概念是保持不變的。微軟表示, 把一些服務(wù)器、網(wǎng)絡(luò)設(shè)備和電源設(shè)備放在一個(gè)盒子里,而我們要做的就是將其連接到電源,網(wǎng)絡(luò)和水,所有的細(xì)節(jié)都在內(nèi)部處理。
ITPAC的內(nèi)部看起來(lái)像一個(gè)普通的數(shù)據(jù)中心,雖然是壓縮的。 ITPAC本身將區(qū)域隔離成熱通道和冷通道,非常類(lèi)似于在上文圖片中所看到的建模的 常規(guī) 數(shù)據(jù)中心。然而,每架供應(yīng)商的總體ITPAC的配置文件是不同的;一架個(gè)供應(yīng)商基于集裝箱建造ITPAC,而另一家供應(yīng)商所交付的ITPAC更像是臨時(shí)的建筑拖車(chē)或大型雙掛車(chē)拖車(chē)。
事實(shí):微軟的數(shù)據(jù)中心每秒處理超過(guò)150萬(wàn)次請(qǐng)求。
安全至上
安全性是微軟數(shù)據(jù)中心戰(zhàn)略的重要組成部分。因此,這個(gè)數(shù)據(jù)中心實(shí)際上是微軟的一項(xiàng)巨大的財(cái)產(chǎn)。其看起來(lái)就像各種沒(méi)有任何公司名稱(chēng)或識(shí)別標(biāo)記的工業(yè)建筑和發(fā)電機(jī),所以你身處其中,并不知道你到了哪里。
要進(jìn)入該數(shù)據(jù)中心園區(qū),您必須獲得該公司的數(shù)據(jù)中心團(tuán)隊(duì)的預(yù)先批準(zhǔn),并簽署提交一些關(guān)于禁止您泄露的內(nèi)容的協(xié)議。您還必須出示政府相關(guān)機(jī)構(gòu)頒發(fā)的身份證明,因此將掌握所有訪(fǎng)客的記錄,包括具體進(jìn)出該數(shù)據(jù)中心園區(qū)的時(shí)間。在該數(shù)據(jù)中心園區(qū)內(nèi)還有一些程序,我不能談?wù)摚湟彩俏以谠L(fǎng)問(wèn)期間必須嚴(yán)格執(zhí)行的。也許其最酷的功能是巨型磁盤(pán)碎紙機(jī),使得每塊硬盤(pán)驅(qū)動(dòng)器在過(guò)時(shí)或不需要之后都會(huì)在被回收之前徹底進(jìn)行處理。驅(qū)動(dòng)器在離開(kāi)數(shù)據(jù)中心園區(qū)之前,永遠(yuǎn)上不能有涉及到該數(shù)據(jù)中心園區(qū)的任何數(shù)據(jù)信息。
我此前曾經(jīng)參觀(guān)過(guò)一系列的數(shù)據(jù)中心,但沒(méi)有任何一家具備如此深度的安全性,并致力于這些安全措施的徹底執(zhí)行。這不禁讓我想知道為什么有些人會(huì)不愿意相信主要的云服務(wù)供應(yīng)商的安全性,您企業(yè)的數(shù)據(jù)中心的外部安保和內(nèi)部保護(hù)能夠達(dá)到像微軟一樣的水平嗎?這真是發(fā)人深思的問(wèn)題。
事實(shí):微軟的光纖網(wǎng)絡(luò)是北美洲最大的光纖網(wǎng)絡(luò)之一,其長(zhǎng)度可以從地球拉伸到月球來(lái)回三次。
開(kāi)放計(jì)算項(xiàng)目和Open CloudServer
盡管微軟公司對(duì)于其數(shù)據(jù)中心業(yè)務(wù)的許多細(xì)節(jié)仍然保密,但該公司正在通過(guò)開(kāi)放式計(jì)算項(xiàng)目(Open Compute Project)共享其在服務(wù)器設(shè)計(jì)方面的一些最佳實(shí)踐方案。OCP是由 Facebook所主導(dǎo)的一個(gè)合資項(xiàng)目,以創(chuàng)造最佳的服務(wù)器設(shè)計(jì),整合電力,計(jì)算和網(wǎng)絡(luò),在今天的數(shù)據(jù)中心環(huán)境打造一個(gè)具有前瞻性的配置,以利用電力和網(wǎng)絡(luò)交付未來(lái)的創(chuàng)新。微軟貢獻(xiàn)了Open CloudServer設(shè)計(jì),這是一款底層系統(tǒng),利用比正常的19英寸機(jī)架高的機(jī)架。根據(jù)該項(xiàng)目,12U底層有專(zhuān)用的硬連線(xiàn)的帶外管理,相平衡式功率電源和高效率的冷卻效率。
最終,微軟發(fā)現(xiàn),為了延長(zhǎng)其數(shù)據(jù)中心的壽命并增強(qiáng)其軟件定義的性質(zhì),回到標(biāo)準(zhǔn)機(jī)架式服務(wù)器是一條要走的路。其能夠更容易的更換設(shè)備和升級(jí)設(shè)備,以利用最新的電源,冷卻和網(wǎng)絡(luò)。事實(shí)上,在未來(lái),昆西數(shù)據(jù)中心園區(qū)的一部分將作為Azure區(qū)域,其是以 面向未來(lái) 的概念方式設(shè)計(jì)的,以便能夠在數(shù)據(jù)中心建筑物內(nèi)充分利用電力傳輸技術(shù)的進(jìn)步。此外,正在開(kāi)發(fā)的在線(xiàn)電池,使得園區(qū)中的擁有巨型電池的大操作房間在電源故障的情況下不需要保持服務(wù)器運(yùn)行。
事實(shí):自2012年以來(lái),微軟及其數(shù)據(jù)中心一直是碳中性的,該公司正在繼續(xù)增加可再生能源(如風(fēng)能,太陽(yáng)能和水電)的使用組合。