高密度數(shù)據(jù)中心發(fā)展至今,迫切需要解決的問題是降低PUE值。隨著電子信息機(jī)房IT設(shè)備和供配電系統(tǒng)的高度集成化,機(jī)房散熱量日漸趨高,必須要有強(qiáng)大的制冷系統(tǒng),來維持機(jī)房的環(huán)境溫度能保持在一個(gè)合理范圍內(nèi)。從圖1中可以看出,電力在數(shù)據(jù)中心的消耗僅有33%供給了IT負(fù)荷,散熱負(fù)荷卻高達(dá)63%,也就是說,散熱負(fù)荷已經(jīng)遠(yuǎn)遠(yuǎn)超過了IT設(shè)備的負(fù)荷。這意味著,降低IT設(shè)備的發(fā)熱量,可相應(yīng)地降低散熱負(fù)荷,也就是降低了用于制冷設(shè)備的電力,這對于降低PUE值是一個(gè)關(guān)鍵的因素。

在現(xiàn)代電子信息機(jī)房中,空調(diào)負(fù)荷主要來自計(jì)算機(jī)主機(jī)設(shè)備、外部輔助設(shè)備的發(fā)熱量,這些發(fā)熱量大約占機(jī)房空調(diào)總熱量的80%～95%,而在計(jì)算機(jī)主設(shè)備(包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)中,服務(wù)器所產(chǎn)生的熱量約占到80%左右?？梢?降低服務(wù)器的發(fā)熱量,從而降低制冷系統(tǒng)的能耗是至關(guān)重要的。

目前,很多數(shù)據(jù)中心的服務(wù)器散熱采用風(fēng)冷技術(shù),即用空氣來冷卻?？諝獠⒉皇呛芎玫睦涿?。若采用液冷,其冷卻效果比空氣強(qiáng)1000～3000倍。風(fēng)冷所不能解決的高能耗、低性能的問題,用液冷技術(shù)卻可以得到顯著的改善。服務(wù)器也因此實(shí)現(xiàn)了高密度、低噪音、低傳熱溫差、全年自然冷卻的效果。

液冷是利用工作流體作為熱量傳輸?shù)拿浇?將熱量由熱區(qū)傳遞到遠(yuǎn)處再進(jìn)行冷卻。由于液體比空氣的比熱大很多,散熱速度也遠(yuǎn)遠(yuǎn)大于空氣,因此制冷效率遠(yuǎn)高于風(fēng)冷散熱,由于省去了風(fēng)扇,也能達(dá)到降低噪音的效果。

液冷服務(wù)器不用壓縮機(jī)制冷,使得整個(gè)系統(tǒng)全年P(guān)UE值下降到1.2以下并非難事,同時(shí)服務(wù)器CPU可超頻運(yùn)行,計(jì)算性能可提高12%。國外研究表明,CPU核溫每提高10℃,可靠性降低一半。而液冷服務(wù)器的CPU核溫比風(fēng)冷極限溫度可低20～30℃,可靠性必將大大提高。

　　1 液冷服務(wù)器的原理

制冷系統(tǒng)的制冷原理主要在于冷量傳輸?shù)耐緩讲町悺＠涿降娜珶釣轱@熱與潛熱之和。濕熱是液體在加熱或冷卻過程中,溫度升高或降低而不改變其原有相態(tài),所需吸收或放出的熱量時(shí),不發(fā)生相變;而潛熱是相變潛熱的簡稱,為單位質(zhì)量的物質(zhì)在等溫等壓情況下,從一個(gè)相變化到另一個(gè)相時(shí),所吸收或放出的熱量。這是物體在固、液、氣三相之間以及不同的固相之間相互轉(zhuǎn)變時(shí)具有的特點(diǎn)之一,固、液之間的潛熱稱為熔解熱或凝固熱,液、氣之間的潛熱稱為汽化熱或凝結(jié)熱,而固、氣之間的潛熱稱為升華熱或凝華熱。

對于超高功率密度的數(shù)據(jù)中心來說,風(fēng)冷技術(shù)難以實(shí)現(xiàn)對系統(tǒng)的高效散熱,而水冷或液冷有兩大好處:一是把冷卻劑直接導(dǎo)向熱源,而不是像風(fēng)冷那樣間接制冷;二是和風(fēng)冷相比,每單位體積所傳輸?shù)臒崃?散熱效率)比風(fēng)冷高幾千倍。

由于液體的比熱容大,能吸收大量的熱量而保持溫度不會(huì)有明顯的變化,液冷系統(tǒng)中CPU的溫度能夠得到很好的控制,突發(fā)的操作不會(huì)引起CPU內(nèi)部溫度瞬間大幅度的變化,因此能允許CPU進(jìn)行超頻工作,從而節(jié)省服務(wù)器的數(shù)量。此外,由于泵的噪聲很小,整個(gè)液冷系統(tǒng)的噪音比與風(fēng)冷系統(tǒng)小很多,可達(dá)到“靜音機(jī)房”的效果。此外,由于省掉了風(fēng)扇及機(jī)房專用空調(diào)系統(tǒng),因此節(jié)省了電費(fèi)和耗能。

該技術(shù)可廣泛應(yīng)用于超高功率密度數(shù)據(jù)中心中服務(wù)器的散熱,為數(shù)據(jù)中心的散熱問題提供一個(gè)優(yōu)異的解決方案。

圖2  給出了風(fēng)冷服務(wù)器與液冷服務(wù)器的比較。

值得一提的是,服務(wù)器的液冷技術(shù)并不需要昂貴的水冷機(jī)組,在減少總體擁有成本的同時(shí),顯著提高了數(shù)據(jù)中心的能源效率,而且做到了綠色環(huán)保。它還可以控制運(yùn)營成本,使初始投資實(shí)現(xiàn)快速回報(bào)。這在那些高電力成本、高運(yùn)營成本的數(shù)據(jù)中心顯得尤其重要。

使用液冷系統(tǒng)的節(jié)能效果十分明顯。服務(wù)器前部必須要保持25℃以下才能穩(wěn)定工作,精密空調(diào)想要保持這個(gè)溫度,必須在空調(diào)冷風(fēng)口達(dá)到18～20℃,而液冷媒只要能達(dá)到20～25℃就可以。另一方面,遠(yuǎn)程制冷的效率比較低,而液冷媒在相對封閉的運(yùn)行環(huán)境中,效率較高。

形象地理解,液冷設(shè)備與精密空調(diào)的區(qū)別,就像冰箱制冷與冷庫制冷的區(qū)別。對機(jī)房來說,液冷媒將每個(gè)機(jī)柜包裝成為一個(gè)“冰箱”,而精密空調(diào)則把整個(gè)機(jī)房制冷視為一個(gè)“冷庫”,其能耗的差別不言而喻。使用液冷技術(shù)節(jié)能的效果不僅僅在于制冷方面,液冷技術(shù)有一個(gè)與眾不同的系統(tǒng),叫Freecooling(自然冷卻系統(tǒng))。液冷媒的進(jìn)口溫度需要低于15℃,而當(dāng)環(huán)境溫度低于15℃時(shí),就可以不需要通過循環(huán)制冷來制冷液體,僅僅用自然冷量制冷即可。這一切都是自動(dòng)調(diào)節(jié)的,不需要人工操作。使用液冷系統(tǒng)的節(jié)能效果十分明顯。

　　2  液冷服務(wù)器的種類

液冷服務(wù)器的種類一般是按采用的模式和選用的冷媒來區(qū)分的。

按照系統(tǒng)模式,液冷服務(wù)器可分為直接冷卻和間接冷卻兩大類;按照工作介質(zhì)的不同,可分為水冷和其它制冷劑冷卻,制冷劑除水以外,還有變壓器油、礦物油、19.8%的乙二醇溶液、13.6%NaC的鹽水、FC-75、Coolanol45、二甲烷飽和溶液等;按照是否發(fā)生相變,可分為溫差換熱(利用制冷劑的溫升來帶走熱量)和相變換熱(利用制冷劑的氣化潛熱來帶走熱量)。

(1)間接液冷服務(wù)器

間接液冷服務(wù)器又叫冷板式液冷服務(wù)器,其原理圖如圖3所示。如圖中所示,冷媒與被冷卻對象分離,并不直接接觸,而是通過液冷板等高效熱傳導(dǎo)部件將被冷卻對象的熱量傳遞到冷媒中。對于原有的風(fēng)冷方式來說,僅需將原風(fēng)冷散熱片替換為液冷散熱片,并將冷媒管路引出機(jī)箱即可。在間接冷卻方式中,冷媒有其自身通路,并不與電子器件直接接觸,因此只要液體管路密封性好、冷媒不泄漏,那么系統(tǒng)對冷媒種類的要求較低,多種冷媒均可實(shí)現(xiàn)其功能。

缺點(diǎn)是由于增加了傳熱過程熱阻,傳熱溫差增大,制冷效果遜于直接冷卻式,且需要額外安裝風(fēng)扇對機(jī)房的其他元器件進(jìn)行散熱。

(2)直接液冷服務(wù)器

直接液冷服務(wù)器又叫浸沒式液冷服務(wù)器,其原理圖如圖4所示。如圖中所示,發(fā)熱元器件與冷媒直接接觸,即將服務(wù)器主板、CPU、內(nèi)存等發(fā)熱量大的元器件完全浸沒在冷媒中。由于冷卻液與被冷卻對象直接接觸,散熱效果更佳,能一次性解決全部元器件的散熱問題,無須額外配置風(fēng)扇、散熱片等。但此系統(tǒng)對原有的風(fēng)冷系統(tǒng)有較大改動(dòng),需制作密封艙體用來盛放冷媒。另外,對冷媒的要求較高,需具備絕緣性好(不導(dǎo)電)、無毒無害、無腐蝕性等物理化學(xué)特性。

直接冷卻式能解決更高熱流密度的散熱問題。直接冷卻式是利用液體的溫差或相變將熱量直接帶走,減少了傳熱過程的熱阻,冷卻效率更高。而且,冷卻制冷劑蒸汽只需40℃的進(jìn)水,由于全國很多地方全年溫度都是在40℃以下,因此可實(shí)現(xiàn)全年自然冷卻,PUE值可降至1.05左右。

服務(wù)器設(shè)計(jì)者和數(shù)據(jù)中心運(yùn)營商主要關(guān)注的問題是數(shù)據(jù)中心系統(tǒng)的穩(wěn)定性。然而,在液體冷卻系統(tǒng)中,一個(gè)接頭的失效就會(huì)導(dǎo)致冷卻液無法自動(dòng)替補(bǔ)供應(yīng)。因此,對機(jī)械沖擊的抵抗能力及可靠性是液體冷卻系統(tǒng)快速插拔接頭的重要特征。服務(wù)器設(shè)計(jì)者就需要構(gòu)造優(yōu)良、鎖緊機(jī)構(gòu)簡單、制作材料耐用并兼容的快速插拔接頭。這種接頭必須能夠長期保持連接狀態(tài),但在斷開進(jìn)行維護(hù)時(shí)快速接頭內(nèi)集成的閥門能夠迅速動(dòng)作,以避免冷卻液的溢出。使得密封件應(yīng)當(dāng)與冷卻液兼容,以避免膨脹、收縮或者變形。

在使用液體冷卻系統(tǒng)時(shí),為了更好地保障電子設(shè)備周圍設(shè)施的安全性與可靠性,數(shù)據(jù)中心運(yùn)營商需要采用堅(jiān)固耐用且保證無滴漏的連接設(shè)備?？焖俳宇^連接后的多重密封和無密封摩擦功能,能夠保證液體冷卻設(shè)備即使在長時(shí)間處于連接狀態(tài)和壓力的情況下,在斷開時(shí)也能保證無溢漏,大大提高了液體冷卻系統(tǒng)的安全性和可靠性。

此外,簡單易用、設(shè)計(jì)直觀的快速插拔接頭可以滿足液體冷卻系統(tǒng)操作及維護(hù)的便利性。

比如,彩色編碼的設(shè)計(jì)為冷卻管理提供即時(shí)視覺上的辨別,這種易用且直觀的設(shè)計(jì)更加方便技術(shù)人員使用和維護(hù)。產(chǎn)品配有高質(zhì)量閥門的一鍵連接或扭鎖式接頭,操作簡單快速,并且在斷開時(shí)閥門完好閉合。對于慣于連接和斷開以太網(wǎng)和電源電纜的技術(shù)人員而言,直觀設(shè)計(jì)的快速插拔接頭更方便使用。

3 國內(nèi)外服務(wù)器液冷技術(shù)發(fā)展現(xiàn)狀

(1)國內(nèi)服務(wù)器液冷技術(shù)發(fā)展現(xiàn)狀

目前國內(nèi)知名的多個(gè)設(shè)備、軟件廠商推出了液冷服務(wù)器系統(tǒng)產(chǎn)品,包括曙光、華為、神威藍(lán)光等。

曙光推出的TC4600E-LP液冷服務(wù)器是以原有風(fēng)冷型刀片為原型,進(jìn)行了液冷改造設(shè)計(jì),除去CPU和顯卡的風(fēng)冷式散熱器,改造為液冷冷板。圖5為TC4600E-LP液冷服務(wù)器的前、后視圖。

TC4600E-LP采用CPU冷板技術(shù)以及先進(jìn)的防泄漏技術(shù),具有以下優(yōu)越的性能:

①風(fēng)扇功耗降低70%,具有更優(yōu)的整機(jī)效率;

②CPU可超頻運(yùn)行,計(jì)算性能提高12%;

③CPU核溫可降低30℃,平均無故障工作時(shí)間延長50%,具有更高的可靠性;

④噪聲比風(fēng)冷板機(jī)型低20dB(A),具有更低的噪音指數(shù);

⑤由于處理器的熱量通過水冷帶走,不需要安裝大量的機(jī)房專用精密空調(diào);

⑥液冷系統(tǒng)采用30℃的常溫進(jìn)水,可以實(shí)現(xiàn)全年自然冷卻,PUE值輕松降至1.2以下。

華為公司的液冷刀片服務(wù)器采用高集成LCS(Liquid Cooling System)設(shè)計(jì),在1個(gè)標(biāo)準(zhǔn)的42U機(jī)柜中通過部署三臺(tái)裝配有高性能冷板(CH121 CH140刀片服務(wù)器)的E9000融合架構(gòu)刀片服務(wù)器,即在部署96個(gè)2路刀片服務(wù)器的情況下,對86%的器件進(jìn)行液體冷卻，相比傳統(tǒng)的風(fēng)冷散熱設(shè)計(jì)可實(shí)現(xiàn)50%～60%的能耗降低，有助于將數(shù)據(jù)中心PUE值降至1.2以下。華為公司間接液冷服務(wù)器如圖6所示。

神威藍(lán)光公司的間接液冷服務(wù)器中的冷卻用水是內(nèi)部封閉循環(huán),是來自礦泉水廠處理過的純水。中間是鋁制液冷散熱板。神威藍(lán)光公司的間接液冷服務(wù)器的優(yōu)勢是集成度高,水冷散熱高效,可在一個(gè)機(jī)柜內(nèi)存放更多的CPU,僅依靠9個(gè)運(yùn)算機(jī)柜就達(dá)到了很高的運(yùn)算能力。神威藍(lán)光間接液冷服務(wù)器如圖7所示。

目前國內(nèi)有很多企業(yè)已經(jīng)開始研發(fā)液冷服務(wù)器產(chǎn)品,但截至目前,大部分企業(yè)使用液冷技術(shù)多采用純水作為冷媒。眾所周知,含雜質(zhì)的水是電的良導(dǎo)體,一旦冷媒泄漏,與主板上的塵埃等雜質(zhì)混合,后果不堪設(shè)想。且選用水作為冷媒,是利用水的溫升帶走發(fā)熱元件的熱量,只利用了水的顯熱,并沒有發(fā)揮其全部功效,還有很大的潛能可以發(fā)揮。

(2) 國外液冷服務(wù)器的現(xiàn)狀

國外液冷服務(wù)器的用戶主要還是大型數(shù)據(jù)中心和超級計(jì)算中心,已經(jīng)有一些用戶開始使用液冷服務(wù)器。比如美國國家安全局、美國空軍、CGG、ORANGE、VIENNA科學(xué)計(jì)算集群、日本東京工業(yè)大學(xué)已經(jīng)使用了Green Revolution Cooling的浸沒式液冷技術(shù),美國AFRL、ERDL、法國TUTAL、歐洲AWE等使用了SGI的液冷服務(wù)器,德國LRZ已經(jīng)使用了聯(lián)想(原IBM)的Next Scalen x360 M5冷板式液冷服務(wù)器。

IBM的新SuperMUC超級計(jì)算機(jī)中心(LRZ)Super MUC與IBM xiData Plex均采用了水冷技術(shù),即采用40℃的溫水作為IT設(shè)備制冷的冷媒工質(zhì)。比起普通的風(fēng)冷系統(tǒng),這種水冷系統(tǒng)的散熱效率高4000倍,能耗也大幅度降低。除此之外,其產(chǎn)生的熱水可以給萊布尼茲超級計(jì)算機(jī)中心園區(qū)的其他生活建筑供熱,每年可節(jié)約125萬美元。IBM間接液冷服務(wù)器如圖8所示。

Green Revolution Cooling推出的直接式液冷系統(tǒng)是把服務(wù)器浸沒在一種礦物油中進(jìn)行降溫,浸沒其中的戴爾R730機(jī)架服務(wù)器的CPU溫度為30℃左右。Green Revolution Cooling直接式液冷系統(tǒng)如圖9所示。

Asetek的液冷機(jī)柜是在室外側(cè)充分利用室外冷源,實(shí)現(xiàn)自然冷卻,節(jié)約數(shù)據(jù)中心的運(yùn)維成本。模塊化設(shè)計(jì)為數(shù)據(jù)中心提供了最大的可擴(kuò)展性。以1U服務(wù)器(功耗為500W,其中CPU及內(nèi)存功耗為400W)為例,80%(400W)的熱負(fù)荷來自于CPU及內(nèi)存,采用液冷散熱,剩余20%(100W)的熱負(fù)荷采用風(fēng)冷散熱。PUE值由1.61下降至1.08,單機(jī)柜每年節(jié)省電費(fèi)7784美元,能使數(shù)據(jù)中心節(jié)能50%,密度增加2.5倍。Asetek的液冷機(jī)柜如圖10所示。

　　4 結(jié)束語

按照美國IDC公司的預(yù)測,移動(dòng)產(chǎn)品和數(shù)據(jù)等的總量,今后還會(huì)持續(xù)高速增長,數(shù)據(jù)中心必須要高密度配置服務(wù)器。為了應(yīng)對這樣的變化,制冷技術(shù)也需要隨之改變。實(shí)際上,IDC于2016年3月,以美國的各類數(shù)據(jù)中心的運(yùn)營商為對象實(shí)施的問卷調(diào)查中,有高達(dá)42%的受訪者表示,其公司最大的數(shù)據(jù)中心采用了液冷技術(shù)。

對于單臺(tái)服務(wù)器而言,使用液冷服務(wù)器能高效準(zhǔn)確制冷,節(jié)能降耗,降低噪音。而且由于液體的比熱容大,能吸收大量的熱量而自身溫度不會(huì)明顯變化,使得CPU在突發(fā)操作時(shí)不會(huì)引起內(nèi)部溫度瞬間大幅度變化,因此允許CPU超頻工作,提高了服務(wù)器的使用效率和性能。

對于機(jī)柜而言,由于省掉了機(jī)房專用空調(diào),因而節(jié)能、降噪。而且由于液冷服務(wù)器的冷卻能力優(yōu)良,能在單位空間內(nèi)布置更多的刀片服務(wù)器,提高熱流密度,因此節(jié)省占地面積。

對于數(shù)據(jù)中心而言,雖然增加了泵和工作液體循環(huán)系統(tǒng),但是省掉了整個(gè)空調(diào)系統(tǒng)以及基礎(chǔ)設(shè)施層,也無須地板下送風(fēng)和冷熱通道封閉技術(shù),能節(jié)省更多的成本。且能在有限的空間內(nèi)容納更多的服務(wù)器,從而得到更高的效率。此外,由于泵的噪聲很小,整個(gè)液冷系統(tǒng)的噪音相比于風(fēng)冷系統(tǒng)要小得多,可達(dá)到“靜音機(jī)房”的效果。

此外,液冷服務(wù)器可以不受海拔和地域的限制,在任何地方均能正常工作。而機(jī)房專用空調(diào)系統(tǒng)則不同,在不同緯度和海拔的地區(qū),必須考慮當(dāng)?shù)氐那闆r進(jìn)行設(shè)計(jì)調(diào)整。

因此,液冷服務(wù)器可廣泛應(yīng)用于超級計(jì)算機(jī)和大型服務(wù)器的散熱,為大規(guī)模計(jì)算中心和數(shù)據(jù)中心的散熱問題提供優(yōu)異的解決方案,從而大大降低了PUE值。

目前,冷板式的液冷技術(shù)已經(jīng)比較成熟,具備了產(chǎn)業(yè)化的可行性。但對于更具革命性的浸沒式液冷技術(shù),仍然處于發(fā)展初期。據(jù)了解,液冷服務(wù)器的用戶主要還是大型數(shù)據(jù)中心和超級計(jì)算中心,這些用戶對于高密度擴(kuò)展、綠色節(jié)能、機(jī)房靜音的需求比較迫切,已經(jīng)有一些用戶開始使用液冷服務(wù)器,不過對于企業(yè)級應(yīng)用,無論是普通的服務(wù)器,還是大型數(shù)據(jù)中心,液冷技術(shù)的普及之路還剛開始。

編輯：Harris

關(guān)鍵詞：ups電源參數(shù)http://ysmy604813.com.cn/list-3-1.html

• 上一篇：IGBT短路檢測功能在模塊化UPS系統(tǒng)中的應(yīng)用
• 下一篇：數(shù)據(jù)中心UPS的設(shè)計(jì)標(biāo)準(zhǔn)與分級配置
  
• 文章標(biāo)簽： 利器 降低 服務(wù)器
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請標(biāo)明出處。如有內(nèi)容侵犯您的權(quán)益，請聯(lián)系刪除！QQ:315212307