安全可靠,一直是數(shù)據(jù)中心最關(guān)鍵的兩個(gè)指標(biāo),數(shù)據(jù)中心行業(yè)最主流最權(quán)威的兩個(gè)標(biāo)準(zhǔn)機(jī)構(gòu)UPTIME 和 TIA942將數(shù)據(jù)中心的安全可靠性等級(jí)分為4級(jí),從Tier1~Tier4。T4表示可用性等級(jí)為4個(gè)9,即99.99%,按照業(yè)內(nèi)4小時(shí)故障修復(fù)的標(biāo)準(zhǔn),T4級(jí)別的數(shù)據(jù)中心約45年才有1次宕機(jī)的可能。所有系統(tǒng)均達(dá)到容錯(cuò)級(jí)別。因?yàn)樵靸r(jià)昂貴,目前全球達(dá)到T4級(jí)別的數(shù)據(jù)中心屈指可數(shù)。由于T4數(shù)據(jù)中心有嚴(yán)格的審核標(biāo)準(zhǔn),因此有些高等級(jí)數(shù)據(jù)中心(絕大部分是金融業(yè)數(shù)據(jù)中心)雖然是按照T4的架構(gòu)設(shè)計(jì),但并沒(méi)有得到T4的認(rèn)證。而在國(guó)內(nèi),通信運(yùn)營(yíng)商的大型IDC,大多數(shù)連T3都不能達(dá)到。業(yè)內(nèi)最高等級(jí)的IDC,一般會(huì)參考Tier3的架構(gòu)設(shè)計(jì)。
Tier3,Tier4等級(jí)的數(shù)據(jù)中心之所有難以達(dá)到,主要是因?yàn)門(mén)3,T4不僅僅對(duì)設(shè)備的冗余有具體的規(guī)定,還對(duì)管線路由的冗余的要求更加嚴(yán)格,這要求數(shù)據(jù)中心必須在建筑和結(jié)構(gòu)設(shè)計(jì)階段就要考慮,否則難以符合要求?,F(xiàn)階段開(kāi)始建設(shè)的國(guó)內(nèi)大型數(shù)據(jù)中心,很多雖然從建筑規(guī)劃階段就遵循高等級(jí)數(shù)據(jù)中心的要求,但是到具體的細(xì)節(jié)上會(huì)和國(guó)內(nèi)有關(guān)規(guī)范沖突,比如高壓的操作規(guī)程,后備柴油儲(chǔ)量的要求,等等使得業(yè)主最后無(wú)法完全按照國(guó)際標(biāo)準(zhǔn)去建設(shè)高等級(jí)的數(shù)據(jù)中心。
相對(duì)于國(guó)際規(guī)范,國(guó)內(nèi)的《GB-50174 電子計(jì)算機(jī)機(jī)房設(shè)計(jì)規(guī)范》,主要在設(shè)備和系統(tǒng)的冗余上進(jìn)行規(guī)定,對(duì)管線路由的要求相對(duì)放松。在國(guó)內(nèi)大部分的高等級(jí)數(shù)據(jù)中心也都能達(dá)到有關(guān)標(biāo)準(zhǔn)。
相對(duì)于國(guó)際的4級(jí)標(biāo)準(zhǔn),國(guó)內(nèi)采用ABC三級(jí)標(biāo)準(zhǔn),而3級(jí)標(biāo)準(zhǔn)的定義是采用數(shù)據(jù)中心宕機(jī)造成的影響程度來(lái)區(qū)分的:造成全國(guó)性影響的,為A級(jí);造成地區(qū)性影響的,為B級(jí),造成局部影響的為C級(jí)。按照這個(gè)標(biāo)準(zhǔn),凡是業(yè)務(wù)范圍覆蓋全國(guó)的公司總部數(shù)據(jù)中心,必須按照A級(jí)標(biāo)準(zhǔn)建設(shè)。而地區(qū)分公司的數(shù)據(jù)中心機(jī)房,必須按照B級(jí)標(biāo)準(zhǔn)建設(shè);而網(wǎng)點(diǎn)門(mén)店這些終端的數(shù)據(jù)中心,采用C級(jí)標(biāo)準(zhǔn)建設(shè)。
國(guó)標(biāo)A級(jí)數(shù)據(jù)中心的建設(shè)標(biāo)準(zhǔn),在系統(tǒng)和設(shè)備的配置上,基本和國(guó)際T4等級(jí)對(duì)應(yīng)的,除了柴油發(fā)電機(jī),所有系統(tǒng)和設(shè)備均為2N或N+2的冗余度要求。國(guó)標(biāo)B級(jí)基本上和國(guó)際的T2等級(jí)對(duì)應(yīng)。國(guó)標(biāo)C級(jí),基本是和國(guó)際T1等級(jí)對(duì)應(yīng)。因此對(duì)于大部分?jǐn)?shù)據(jù)中心遵循的Tier3等級(jí)標(biāo)準(zhǔn),國(guó)標(biāo)是沒(méi)有相對(duì)應(yīng)的等級(jí)的。Tier3和國(guó)標(biāo)A最大的差異在于對(duì)UPS系統(tǒng)的配置上,國(guó)標(biāo)A級(jí)要求UPS系統(tǒng)采用2N雙總線的架構(gòu),而Tier3只要求滿足可在線維護(hù)不影響業(yè)務(wù)生產(chǎn),具體采用何種架構(gòu),可以有很多選擇方案。
這是一個(gè)符合T4架構(gòu)和國(guó)標(biāo)A級(jí)架構(gòu)的數(shù)據(jù)中心高低壓配電系統(tǒng)方案,從入戶線路到高壓柜、柴油發(fā)電機(jī)、變壓器、低壓柜,所有的系統(tǒng)基本為N+N的對(duì)稱冗余方式。由于很多地方的供電局不允許高壓柴油發(fā)電機(jī)自動(dòng)切換,因此在實(shí)際設(shè)計(jì)中會(huì)采用手動(dòng)切換。另外,不管是T4還是國(guó)標(biāo)A級(jí),對(duì)空調(diào)設(shè)備的供電都是要求雙路星型敷設(shè)到最末端進(jìn)行切換,其中一路必須有應(yīng)急用電,在實(shí)際的案例中,由于線路復(fù)雜增加了操作維護(hù)難度,絕大部分的業(yè)主會(huì)放棄。
這是一個(gè)符合國(guó)標(biāo)A級(jí)和國(guó)際T3等級(jí)數(shù)據(jù)中心空調(diào)架構(gòu)系統(tǒng)方案。冷凍機(jī)組如果采用N+1,只能滿足國(guó)標(biāo)B級(jí)標(biāo)準(zhǔn),但在早期低容量階段,可按N+2評(píng)估滿足國(guó)標(biāo)A級(jí)。實(shí)際上國(guó)內(nèi)數(shù)據(jù)中心建設(shè)一般容量很大,實(shí)際負(fù)載很小,這一點(diǎn)上基本沒(méi)問(wèn)題。
這個(gè)方案中的冷凍水管采用環(huán)形回路設(shè)計(jì),是目前國(guó)內(nèi)數(shù)據(jù)中心建設(shè)常用的一個(gè)方案,相對(duì)于2N的冗余管路,在末端只需采用單盤(pán)管的精密空調(diào)進(jìn)行N+2的配置就能滿足要求。但這個(gè)方案設(shè)計(jì)還必須有個(gè)前提:就是在空調(diào)主管路上,每個(gè)精密空調(diào)之間必須設(shè)置電動(dòng)閥,防止故障發(fā)生時(shí)候可隨時(shí)隔離故障區(qū)域。這一點(diǎn),在實(shí)施中很多忽略,導(dǎo)致這樣的設(shè)計(jì)方案并沒(méi)有產(chǎn)生真正的高可用性。
綜上所述,可以看到,國(guó)內(nèi)大型的數(shù)據(jù)中心建設(shè),真正達(dá)到國(guó)標(biāo)A級(jí)的和國(guó)際Tier3等級(jí)的非常稀少。目前真正通過(guò)國(guó)標(biāo)A級(jí)認(rèn)證的只有3個(gè)數(shù)據(jù)中心,通過(guò)國(guó)際Tier3以上施工認(rèn)證的還沒(méi)有,國(guó)內(nèi)目前有的Tier3等級(jí)認(rèn)證,都是設(shè)計(jì)認(rèn)證。實(shí)際施工情況如何,以國(guó)內(nèi)的施工單位素質(zhì),你懂的。
對(duì)于電信運(yùn)營(yíng)商的IDC,絕大部分為了節(jié)能減排,過(guò)去幾年采用各種創(chuàng)新設(shè)計(jì),連溫濕度都無(wú)法滿足要求。
對(duì)于企業(yè)數(shù)據(jù)中心來(lái)說(shuō),絕大部分客戶對(duì)外圍配套系統(tǒng)的設(shè)計(jì)施工沒(méi)有話語(yǔ)權(quán),因此只能在有話語(yǔ)權(quán)的機(jī)房以內(nèi)嚴(yán)格要求。
這是一個(gè)典型的國(guó)內(nèi)數(shù)據(jù)中心機(jī)房?jī)?nèi)配電方案: 兩套UPS系統(tǒng),兩路獨(dú)立的配電柜和電纜系統(tǒng),一直到機(jī)柜內(nèi)兩個(gè)獨(dú)立的PDU。冗余度達(dá)到國(guó)際T4和國(guó)標(biāo)A級(jí)標(biāo)準(zhǔn)。機(jī)房外不可控,機(jī)房?jī)?nèi)加強(qiáng),這是國(guó)內(nèi)數(shù)據(jù)中心主管部門(mén)(一般是IT部門(mén))的主流做法。也是比較實(shí)用的做法。這一點(diǎn),對(duì)于我們中小型數(shù)據(jù)中心的建設(shè)者,尤其值得參考。
說(shuō)到數(shù)據(jù)中心建設(shè),這是一個(gè)典型的路線圖,從規(guī)劃咨詢、設(shè)計(jì)施工、驗(yàn)收交付,大型數(shù)據(jù)中心整個(gè)建設(shè)周期一般2-3年,中小型數(shù)據(jù)中心一般1-2年。有的數(shù)據(jù)中心光選址、審批、立項(xiàng),就要花掉好幾年時(shí)間。
在整個(gè)數(shù)據(jù)中心建設(shè)周期內(nèi),企業(yè)IT部門(mén)和基建、設(shè)計(jì)院、施工單位、政府審批單位、各種部門(mén)打交道,費(fèi)時(shí)費(fèi)力,有的企業(yè)IT部門(mén)更是需要專門(mén)成立一個(gè)團(tuán)隊(duì)來(lái)完成這個(gè)任務(wù)。
作為一個(gè)追求效益的企業(yè),把IT人員從業(yè)務(wù)中調(diào)出來(lái)去做不熟悉的基建項(xiàng)目,這絕對(duì)不是一個(gè)好的做法。
但是到目前位置,也沒(méi)有其他辦法,只能這么辦。
既然只能這么辦,就讓我們來(lái)看看一個(gè)企業(yè)IT部門(mén)建設(shè)一個(gè)數(shù)據(jù)中心,需要考慮哪些事情:
這個(gè)一個(gè)典型的數(shù)據(jù)中心建設(shè)項(xiàng)目需要考慮的內(nèi)容,除了之前說(shuō)過(guò)的供電系統(tǒng)和制冷系統(tǒng),還有綜合布線,環(huán)境監(jiān)控,消防系統(tǒng)柜,防雷接地,機(jī)房裝修,機(jī)柜微模塊等。
事實(shí)上,這些系統(tǒng)在專業(yè)的基建行業(yè),也是一個(gè)系統(tǒng)一個(gè)專業(yè)負(fù)責(zé)人,比如設(shè)計(jì)院:電氣和制冷肯定是需要2個(gè)單獨(dú)的人來(lái)做的,沒(méi)有人既設(shè)計(jì)電氣又暖通,也找不到這樣的人,裝修和環(huán)控又是另外2個(gè)人,消防系統(tǒng)雖然也算弱電,但由于行業(yè)特殊性也是專門(mén)1個(gè)人來(lái)做,最多防雷接地會(huì)由電氣來(lái)兼。很多項(xiàng)目不會(huì)配綜合布線和機(jī)柜微模塊的人,因?yàn)檫@兩個(gè)專業(yè)比較新,一般的設(shè)計(jì)院和施工單位不懂,大多數(shù)是廠家提供圖紙。
就這樣一個(gè)有這么多專業(yè)人員組成的復(fù)雜基建項(xiàng)目,我們企業(yè)IT部門(mén)作為最終使用單位委派1-2個(gè)人,去和這些工地佬打交道,最終項(xiàng)目的結(jié)果可想而知。
就過(guò)去的情況來(lái)看,只有三大運(yùn)營(yíng)商、六大銀行、民營(yíng)IDC和BAT ,在建設(shè)了N個(gè)數(shù)據(jù)中心,吃了N多個(gè)虧之后,越來(lái)越有經(jīng)驗(yàn),數(shù)據(jù)中心建設(shè)得越來(lái)好。
這些有經(jīng)驗(yàn)的數(shù)據(jù)中心建設(shè)企業(yè),在場(chǎng)地選址、架構(gòu)規(guī)劃、建筑設(shè)計(jì)、機(jī)電施工、驗(yàn)收交付,一般已經(jīng)形成了企業(yè)自己的一整套標(biāo)準(zhǔn)。
這些標(biāo)準(zhǔn)一般一般分為兩類(lèi):一類(lèi)是互聯(lián)網(wǎng)IDC,一類(lèi)是企業(yè)數(shù)據(jù)中心?;ヂ?lián)網(wǎng)IDC相對(duì)等級(jí)較低(但是國(guó)內(nèi)的比較怪,很多IDC等級(jí)很高),企業(yè)數(shù)據(jù)中心等級(jí)較高。
高等級(jí)的數(shù)據(jù)中心在各個(gè)行業(yè)的標(biāo)準(zhǔn)也大致相同。
最后,還有一個(gè)核心問(wèn)題,這么費(fèi)時(shí)費(fèi)力費(fèi)心,那么建設(shè)一個(gè)高等級(jí)的數(shù)據(jù)中心究竟要花多少錢(qián)?
這是國(guó)內(nèi)一個(gè)按照T4架構(gòu)規(guī)劃的高密度數(shù)據(jù)中心,具體地址在上海。平均每個(gè)機(jī)柜的造價(jià)28萬(wàn)元,按照IT設(shè)備用電容量,每個(gè)KW的造價(jià)師3.9萬(wàn)元。
一般來(lái)說(shuō),T3等級(jí)的數(shù)據(jù)中心造價(jià)是T4等級(jí)的65%??梢怨浪?,T3等級(jí)的數(shù)據(jù)中心單機(jī)柜和單KW的建設(shè)費(fèi)用在18萬(wàn)和3.2萬(wàn)。
這些數(shù)據(jù)在每個(gè)企業(yè)還有差異。比如金融行業(yè)一般選進(jìn)口設(shè)備,造價(jià)會(huì)比較高,IDC一般會(huì)選國(guó)產(chǎn)設(shè)備,造價(jià)會(huì)稍微低。
另外,單位造價(jià)和建設(shè)規(guī)模也有關(guān)系,規(guī)模越大,單位造價(jià)越低,規(guī)模越小單位造價(jià)更高。一般來(lái)說(shuō),1000個(gè)機(jī)柜以下的數(shù)據(jù)中心不適合建設(shè)高等級(jí)數(shù)據(jù)中心,因?yàn)榉謹(jǐn)傇靸r(jià)太高。
銀行業(yè)因?yàn)閷?duì)系統(tǒng)的安全可靠性要求更高,維護(hù)人員也相對(duì)缺乏,因此選擇更好的設(shè)備滿足要求。IDC一般有專業(yè)團(tuán)隊(duì)維護(hù),考慮成本的因素多過(guò)安全可靠性。
數(shù)據(jù)中心行業(yè)還有另一部分企業(yè),沒(méi)有專業(yè)的數(shù)據(jù)中心建設(shè)團(tuán)隊(duì),一般是IT人員兼職負(fù)責(zé)數(shù)據(jù)中心建設(shè),但是整個(gè)建設(shè)周期和建設(shè)內(nèi)容并不會(huì)減少,IT人員甚至更加費(fèi)心費(fèi)力。
這一類(lèi)中心型數(shù)據(jù)中心,最好建成什么樣子,讓我們來(lái)看看:
這幾張圖片是典型的中小型數(shù)據(jù)中心的現(xiàn)狀,主要面臨的問(wèn)題:
1,沒(méi)有規(guī)劃,機(jī)房占用面積大
2,無(wú)專業(yè)施工隊(duì)伍,安全隱患多。
3,設(shè)備安裝不規(guī)范,管理不規(guī)范
4,無(wú)統(tǒng)一管理平臺(tái),現(xiàn)場(chǎng)值班監(jiān)控
5,線纜管理混亂,容易出現(xiàn)故障
維護(hù)難度高,升級(jí)搬遷成本高
那針對(duì)小型數(shù)據(jù)中心的這種情況,最理想的解決方案應(yīng)該是什么?
首先,必須是小型化一體化,節(jié)省場(chǎng)地和空間,每個(gè)機(jī)柜精心規(guī)劃,周密布置,尤其是對(duì)設(shè)備的安裝位置,要考慮到設(shè)備之間的連線,利于檢修,
其次,必須標(biāo)準(zhǔn)化,數(shù)據(jù)中心內(nèi)不管是網(wǎng)絡(luò)設(shè)備,服務(wù)器設(shè)備,存儲(chǔ)設(shè)備,絕大部分采用標(biāo)準(zhǔn)的19英寸安裝方式,配套的電源PDU,配線架,送風(fēng)空調(diào),這些設(shè)備最好也能采用標(biāo)準(zhǔn)安裝方式,即插即用,做到快速配置和部署,
第三,標(biāo)準(zhǔn)化之后,最好能做到產(chǎn)品化,整個(gè)19英寸標(biāo)準(zhǔn)機(jī)柜,集成UPS、電池、配電系統(tǒng),精密空調(diào),監(jiān)控系統(tǒng),所有IT設(shè)備所需的配套設(shè)施,都在標(biāo)準(zhǔn)機(jī)柜內(nèi)預(yù)先安裝完成,用戶只需把IT設(shè)備上架,插電,連網(wǎng)線,就可以開(kāi)機(jī)運(yùn)行。無(wú)需工程裝修。
第四,簡(jiǎn)單化,這樣一個(gè)系統(tǒng),最好是通過(guò)一個(gè)簡(jiǎn)單易用的集成平臺(tái),操作管理。界面簡(jiǎn)單明了,不懂空調(diào)電氣設(shè)備的IT人員,也可以直觀了解設(shè)備的運(yùn)行情況
第五,智能化,集成監(jiān)控平臺(tái)可以預(yù)先設(shè)置一些管理策略,無(wú)需人為干預(yù),系統(tǒng)就可以自動(dòng)根據(jù)運(yùn)行條件,采取不同的運(yùn)行策略,比如日夜系統(tǒng)負(fù)荷差別大,空調(diào)系統(tǒng)可以自動(dòng)調(diào)節(jié)送風(fēng)量,無(wú)需認(rèn)為干預(yù)。
通過(guò)這樣一個(gè)簡(jiǎn)單標(biāo)準(zhǔn)可靠的產(chǎn)品,保證IT系統(tǒng)全年運(yùn)行高可用。用戶IT人員真正做到省地、省時(shí)、省力、省心、還省錢(qián)。
這樣的解決方案,市場(chǎng)上有沒(méi)有呢?
這就是朗達(dá)微型數(shù)據(jù)中心,專為中小型數(shù)據(jù)中心而生的產(chǎn)品。
朗達(dá)數(shù)據(jù)中心目前推出2個(gè)版本,一個(gè)是高配6KVA版,可支持安裝36U用電量最多5KW的IT設(shè)備,一個(gè)是低配3KVA版,可支持安裝24U用電量最多2.5KW的IT設(shè)備。
標(biāo)準(zhǔn)產(chǎn)品內(nèi)置雙路配電箱模塊,分別安裝在機(jī)柜頂部的兩個(gè)32A的工業(yè)連接器下方。兩路配電箱一路接市電,另一路接UPS。兩個(gè)配電箱各自帶3個(gè)16AC20標(biāo)準(zhǔn)插座,用于連接智能PDU,每個(gè)配電箱最多連3臺(tái)SmartPDU。
標(biāo)準(zhǔn)產(chǎn)品內(nèi)置了1臺(tái)UPS主機(jī)和30分鐘的電池,高配版配置了6KVA的UPS,低配版配置了3KVA的UPS。
標(biāo)準(zhǔn)產(chǎn)品內(nèi)置了智能PDU,高配版內(nèi)置了4個(gè)8口機(jī)架式 朗達(dá) SmartPDU,分為2路連接到配電箱模塊,可以連接16臺(tái)雙電源設(shè)備。低配版內(nèi)置了2個(gè)8口機(jī)架式朗達(dá)Smart PDU ,分為2路連接到配電箱模塊,可以連接8臺(tái)雙電源設(shè)備。
標(biāo)準(zhǔn)產(chǎn)品內(nèi)置了1臺(tái)高效率的機(jī)柜級(jí)空調(diào)單元,高配版配置了制冷量5KW送風(fēng)量1400m3/小時(shí)的機(jī)柜空調(diào),低配版配置了制冷量2.5KW送風(fēng)量700m3/小時(shí)的機(jī)柜空調(diào)。
機(jī)柜空調(diào)也通過(guò)標(biāo)準(zhǔn)C14-C13電纜由Smart PDU供電。