1VertivVertiv數(shù)據(jù)中心液冷解決方案白皮書概述隨著支持人工智能和其他處理器密集型應(yīng)用的服務(wù)器運(yùn)算能力提升，越來越多場(chǎng)景下的機(jī)架功率密度超過了20千瓦(kW)，并且許多組織現(xiàn)在正在尋求部署具備50kW或滿足更高要求功率密度的機(jī)架。風(fēng)冷系統(tǒng)不斷演變，以應(yīng)對(duì)更高的密度和實(shí)現(xiàn)更佳的效率，但在某個(gè)節(jié)點(diǎn)上，空氣不具備以高效方式為高熱密度機(jī)架提供足夠冷卻所需的熱傳導(dǎo)特性。這會(huì)降低專用服務(wù)器的性能和可靠性，并隨著機(jī)架功率的增加而降低效率。隨著更多高功率密度機(jī)架的部署，從經(jīng)濟(jì)和可持續(xù)性角度來看，風(fēng)冷就變得難以立足。因此，越來越多的組織正在探索將液體帶入機(jī)架以提高數(shù)據(jù)中心冷卻能力和效率的可行性。液冷利用水或其他流體較高的熱傳導(dǎo)特性，來支持高效經(jīng)濟(jì)的高熱密度機(jī)架冷卻。這種方法已在大型計(jì)算機(jī)和游戲計(jì)算機(jī)等多個(gè)應(yīng)用中得到驗(yàn)證，但在機(jī)架安裝式服務(wù)器領(lǐng)域并不常用。這種情況正快速發(fā)生變化。隨著高密度機(jī)架的激增，液冷正在走出高性能計(jì)算(HPC)的小圈子，進(jìn)入到主流領(lǐng)域。維諦技術(shù)(Vertiv)預(yù)測(cè)，未來幾年內(nèi)該技術(shù)將繼續(xù)迅猛發(fā)展。數(shù)據(jù)中心設(shè)備和基礎(chǔ)設(shè)施供應(yīng)商已經(jīng)開展了廣泛的開發(fā)工作，以支持液冷，目前有多種解決方案可用于通過熱管背板熱交換器、冷板液冷和浸沒式液冷方法來冷卻服務(wù)器。最適合特定設(shè)施的方案將取決于多種因素。然而，考慮采用液冷的數(shù)據(jù)中心操作人員面臨一個(gè)共同的挑戰(zhàn)：如何將液冷方案與數(shù)據(jù)中心和建筑基礎(chǔ)設(shè)施集成，以支持液體進(jìn)出機(jī)本文概述了液冷技術(shù)，重點(diǎn)介紹了數(shù)據(jù)中心基礎(chǔ)設(shè)施如何發(fā)展以支持液冷方案。2液冷是必然趨勢(shì)長(zhǎng)期以來，一直有預(yù)測(cè)認(rèn)為機(jī)架功率密度將達(dá)到風(fēng)冷無法支持的水平。直到現(xiàn)在這些預(yù)測(cè)一直過于樂觀，因?yàn)槊芏忍嵘龥]有預(yù)期的那么快速。盡管如此，這些預(yù)測(cè)還是激發(fā)了對(duì)解決方案的廣泛研發(fā)(R&D)，這些解決方案可支持極高的機(jī)架密度，最值得注意的是冷板液冷方案和浸沒式液冷方案?，F(xiàn)在，各種趨勢(shì)的融合正在將機(jī)架功耗提高到數(shù)據(jù)中心行業(yè)以前預(yù)測(cè)的水平。機(jī)架密度提升的核心是更新一代的中央處理單元(CPU)和圖形處理單元(GPU)，其熱功率密度遠(yuǎn)高于上一代架構(gòu)。例如，在多年保持相對(duì)穩(wěn)定的功率密度之后，英特爾CannonLakeCPU的熱功率密度達(dá)到了兩年前推出的前一代CPU的一倍。同時(shí)，服務(wù)器制造商正在將更多的CPU和GPU裝入每個(gè)機(jī)架單元(U)。由于機(jī)架內(nèi)有多個(gè)高性能服務(wù)器，即使有密封裝置，向機(jī)架輸送冷風(fēng)的空調(diào)系統(tǒng)也無法提供夠的冷卻能力。此外，在處理密集型應(yīng)用中，分散計(jì)算的策略并不可行，因?yàn)榧词故窃趩蝹€(gè)服務(wù)器中，也存在物理距離帶來的延遲挑戰(zhàn)。因此，組件被壓縮到單個(gè)設(shè)備內(nèi)，從而形成高熱密集的1U服務(wù)器，將機(jī)架熱密度提高到前所未有的水平。推動(dòng)這些技術(shù)進(jìn)步的潛在動(dòng)力，是人工智能的廣泛應(yīng)用和HPC在科學(xué)計(jì)算中的大量應(yīng)用。這些技術(shù)正在被部署到數(shù)據(jù)中心，支持基于云的HPC、金融活動(dòng)、在線游戲、醫(yī)療保健、電影編輯、動(dòng)畫和媒體流。因此，高密度設(shè)備機(jī)架正在走出小眾應(yīng)用，變得更加主流，這迫使熱管理系統(tǒng)要隨之演變，以滿足新的要求。這些新技術(shù)帶來的變化正從多個(gè)方面影響著數(shù)據(jù)中心設(shè)計(jì)。第一是設(shè)計(jì)專門依靠液冷的新數(shù)據(jù)中心，創(chuàng)建具有巨大計(jì)算能力的更小、更高效的數(shù)據(jù)中心。第二是設(shè)計(jì)采用風(fēng)冷，但也包含液冷方案，以簡(jiǎn)化未來過渡過程的數(shù)據(jù)中心。第三，也是到目前為止最常見的是，數(shù)據(jù)中心操作人員將液冷集成到現(xiàn)有的風(fēng)冷設(shè)施中，通常是將部分風(fēng)冷方案轉(zhuǎn)變?yōu)橐豪浞桨?。最后，液冷正在成為處理密集型邊緣?jì)算站點(diǎn)的可行替代方案。雖然這些情景都會(huì)使用類似的解決方案，但它們也會(huì)帶來獨(dú)特的挑戰(zhàn)，通過與在數(shù)據(jù)中心熱管理方面擁有深厚專業(yè)知識(shí)，且具備廣泛風(fēng)冷和液冷解決方案組合的基礎(chǔ)設(shè)施合作伙伴密切合作，可以很好解決這些挑戰(zhàn)。創(chuàng)新傳承創(chuàng)新傳承作為全球熱管理領(lǐng)域的佼佼者，基于創(chuàng)新傳承和廣泛積累的綜合能力，維諦技術(shù)(Vertiv)為液冷帶來了整體方法，可簡(jiǎn)化和加速向液冷方案的過渡。我們的產(chǎn)品是多年研發(fā)工作的成果，并通過與領(lǐng)先大學(xué)合作、參與行業(yè)協(xié)會(huì)以及與新興技術(shù)提供合作共同完成，其中包括：y與大學(xué)的能源-智能電子系統(tǒng)中心(ES2)合作，通過液冷方案和其他方法提高數(shù)據(jù)中心效率。這種類型的合作關(guān)系有助于開發(fā)具備兼容性的材料；讓我們進(jìn)一步了解液冷方案部署、冷卻液過濾和密封方法；優(yōu)化液冷系統(tǒng)控制。y積極參與綠色網(wǎng)格(GreenGrid)和開放式計(jì)算(OpenComputeProject)項(xiàng)目，幫助制定系統(tǒng)設(shè)計(jì)和部署的最佳實(shí)踐，并確保液冷系統(tǒng)組件的兼容性。y與GreenRevolutionCooling(GRC)合作，引入新的浸沒式液冷產(chǎn)品生產(chǎn)線。維諦技術(shù)(Vertiv)通過這些工作以及我們的液冷方案研發(fā)計(jì)劃，緊跟不斷變化的客戶需求，提供支持風(fēng)冷和液冷混合冷卻以及全液冷數(shù)據(jù)中心的產(chǎn)品組合，包括：y冷卻液分配裝置(CDU)和室內(nèi)制冷機(jī)，專為提供完整的數(shù)據(jù)中心液冷解決方案而設(shè)計(jì)y主動(dòng)式和被動(dòng)式熱管背板熱交換器y創(chuàng)新高效的浸沒式液冷系統(tǒng)y專為液冷CDU和冷水機(jī)組設(shè)計(jì)的可共用的室外散熱單元y助力改造風(fēng)冷設(shè)備以支持液冷方案的應(yīng)用y提供適用于液冷方案的調(diào)試、開機(jī)、運(yùn)行的實(shí)踐和服務(wù)隨著液冷市場(chǎng)需求的增長(zhǎng)，維諦技術(shù)(Vertiv)正在繼續(xù)擴(kuò)展我們的能力，利用我們的規(guī)模和熱管理專業(yè)知識(shí)開發(fā)新的解決方案和服務(wù)。3Vertiv數(shù)據(jù)中心液冷解決方案Vertiv數(shù)據(jù)中心液冷解決方案白皮書熱管理系統(tǒng)的發(fā)展現(xiàn)狀數(shù)據(jù)中心冷卻技術(shù)必須不斷發(fā)展，才能滿足其所支持的IT系統(tǒng)不斷變化的需求。前幾年，風(fēng)冷系統(tǒng)通過讓冷源更靠近熱源，或者密封冷通道/熱通道的方案，來適應(yīng)更高的熱密度散熱需求。但是，隨著機(jī)架密度升至20kW以上(圖1)，這些方法的收益逐漸減少。多種液冷技術(shù)應(yīng)運(yùn)而生，從而滿足高熱密度機(jī)柜的散熱需求。液冷主動(dòng)式熱管背板被被動(dòng)式熱管背板帶密封裝置的列間冷卻帶密封裝置的列間冷卻圖1.當(dāng)機(jī)架密度超過20kW時(shí)，風(fēng)冷系統(tǒng)會(huì)失去有效性，此時(shí)可采用液冷方法熱管背板熱交換器熱管背板熱交換器是一項(xiàng)成熟的技術(shù)，可為20kW以上熱密度的機(jī)柜提供可行的冷卻解決方案。雖然這些技術(shù)不會(huì)將液體直接帶入服務(wù)器，但它們確實(shí)利用了液體的高熱傳導(dǎo)特性，并采用與直接液冷所需數(shù)據(jù)中心基礎(chǔ)設(shè)施類似的設(shè)備。主動(dòng)式或被動(dòng)式熱管背板熱交換器(圖2)采用換熱器替代IT設(shè)備機(jī)架的后門。采用被動(dòng)式設(shè)計(jì)，服務(wù)器風(fēng)扇通過安裝在機(jī)架后門上的熱管背板盤管排出熱空氣。盤管會(huì)在空氣散入數(shù)據(jù)中心之前吸收熱量。主動(dòng)式熱管背板換熱器包含風(fēng)扇，用于將空氣吸入盤管，從高熱密度的機(jī)架中帶走熱量。這些系統(tǒng)可以構(gòu)成數(shù)據(jù)中心混合冷卻方案的基礎(chǔ)，其中液冷和風(fēng)冷系統(tǒng)協(xié)同工作，冷卻不同機(jī)架密度混合的應(yīng)用場(chǎng)景。此發(fā)展過程的下一階段是直接式液冷方案。直接液冷方案的兩種最常見的方法是芯片冷板液冷和浸泡式液冷。4圖2.主動(dòng)式和被動(dòng)式熱管背板熱交換器芯片冷板液冷芯片的冷板位于發(fā)熱組件(CPU、GPU、內(nèi)存模塊)之上，通過單相冷板或兩相冷板來吸收并帶走芯片的熱量。單相冷板液冷使用通過CDU循環(huán)進(jìn)入冷板的冷卻液來吸收服務(wù)器的熱量。加熱后的冷卻液被轉(zhuǎn)移到機(jī)架外散熱，這通常由CDU來完成。流體的選擇通過平衡流體的導(dǎo)熱性能和粘度來確定。水可換熱能力最好，但其通常與乙二醇混合使用，這樣會(huì)降低導(dǎo)熱能力，同時(shí)又提高了換熱介質(zhì)粘性，提高了循環(huán)泵的功率。壞；然而，一般情況下絕緣冷卻液的熱傳導(dǎo)能力要低于水/乙二醇混合物。表3比較了各種介質(zhì)的熱傳導(dǎo)能力。介質(zhì)類型比熱(J/kgK)體積/kg焦耳/升水(僅供參考)41824182碳?xì)浠衔?3001854.8碳氟化合物13001831.0氣體1000773.46L.3表3.按介質(zhì)顯示的相對(duì)換熱能力來源：OCP浸泡式冷卻IT設(shè)備設(shè)計(jì)指南兩相冷板液冷的工作過程是，低壓冷卻液流入冷板換熱器，服務(wù)器產(chǎn)生的熱量會(huì)使冷卻液相變。熱量以冷卻液汽化形式從服務(wù)器中被帶走，然后交換至機(jī)架外以便散熱。與熱管背板熱交換器相比，冷板液冷通常具有更高的換熱多公司均提供可與現(xiàn)有和新服務(wù)器集成的冷板技術(shù)。是，這種方法無法帶走機(jī)架內(nèi)設(shè)備的全部熱量。通常，冷板液冷可帶走機(jī)架中設(shè)備產(chǎn)生的70-75%的熱量，因此需要采用混合冷卻方法。這是因?yàn)槔浒甯采w在平坦表面時(shí)換熱效果最佳，例如CPU、GPU和存儲(chǔ)器模塊等，但不適用于電源和IC電容器等其它組件。部署冷板液冷的組織應(yīng)與數(shù)據(jù)中心基礎(chǔ)設(shè)施合作伙伴合作，確定是否可以改造部分風(fēng)冷系統(tǒng)以支持冷板液冷。浸沒式液冷在浸沒式液冷方案中，服務(wù)器和機(jī)架中的其他組件被浸泡在導(dǎo)熱絕緣液體或流體中。這種方法無需風(fēng)冷冷卻，服務(wù)器散熱無需通過風(fēng)扇帶來的空氣流動(dòng)來進(jìn)行。此方法可最大化冷卻液的熱傳導(dǎo)特性，也是最高效節(jié)能的液冷方式。與冷板液冷方案一樣，浸泡式液冷方案也有單相和兩相可選。在單相浸沒式液冷系統(tǒng)中(圖4)，服務(wù)器豎直地安裝在導(dǎo)熱的絕緣冷卻液中。冷卻液直接接觸服務(wù)器的組件并從中吸收熱量，再通過CDU中的熱交換器去降低冷卻液溫度。在數(shù)據(jù)中心應(yīng)用時(shí)，CDU通常會(huì)是安裝在液冷Tank附近或機(jī)房外部安裝。不過也提供將CDU集成到液冷Tank的“微型”Tank可供選擇，可為高熱密度邊緣計(jì)算應(yīng)用場(chǎng)景提供完整的獨(dú)立冷卻解決方案。在兩相浸沒式液冷中，服務(wù)器浸沒在絕緣介質(zhì)中，該冷卻液沸點(diǎn)足夠低，可以帶走所有IT的散熱，同時(shí)其沸點(diǎn)也要足夠高，可以降低在冷凝盤管中排出熱量時(shí)的能耗。服務(wù)器的熱量使冷卻液沸騰，發(fā)生相變。上升的蒸汽通過位于Tank頂部的盤管冷凝回液體，然后借助重力下落回到Tank中。由于兩相液冷系統(tǒng)中使用的冷卻液非常昂貴，并且存在環(huán)境、健康和安全問題，因此通過設(shè)計(jì)來最大限度地減少兩相浸沒式液冷系統(tǒng)的蒸汽流失非常重要。一種方法是密封Tank，以防止蒸汽逸出。5VertivVertiv數(shù)據(jù)中心液冷解決方案白皮書單單相浸式液冷加熱的冷卻液從機(jī)架頂部流出冷卻液在用戶指定的溫度下從熱交換器返回機(jī)架圖4.單相浸沒式液冷系統(tǒng)中的冷卻液循環(huán)和換熱這種方法可有效減少蒸汽流失；然而，維護(hù)封閉設(shè)備需要采用《聯(lián)邦清潔空氣法案》第608節(jié)中所述的液體處理方法，導(dǎo)致服務(wù)器維護(hù)工作復(fù)雜化。另一種方法是利用吸排氣控制氣壓，隨著IT負(fù)載的增大或減小改變冷卻液的蒸汽量。此方法結(jié)合使用波紋管與低溫冷凝器冷凝蒸汽，并采用活性炭在換熱過程中吸附/脫附蒸汽。這種方法可以更容易地接觸沸騰的冷卻液中的服務(wù)器，但增加了系統(tǒng)復(fù)雜性，并且只能在最小程度上減少蒸汽流失。液冷設(shè)備無論是采用熱管背板熱交換器來間接冷卻高熱密度機(jī)柜，還是采用冷板液冷或浸沒式液冷技術(shù)來直接冷卻服務(wù)器，都需要專門的設(shè)備來形成冷卻液流動(dòng)環(huán)路，以便在冷卻設(shè)備與二次冷卻環(huán)路之間實(shí)現(xiàn)熱傳導(dǎo)。正確配置冷卻系統(tǒng)是成功過渡到液冷方案的關(guān)鍵。力，以確保冷卻液的溫度的控制精度，以及應(yīng)對(duì)HPC中常見的負(fù)載突然增加情況的能力。還應(yīng)設(shè)計(jì)專門的液冷Tank，以盡可能減少冷卻液流量，從而減少泄漏的影響，并減輕設(shè)備重量帶來的建筑承重風(fēng)險(xiǎn)。以下是專用液冷解決方案的組件。冷卻液分配裝置(CDU)CDU為冷板液冷和浸沒式液冷的冷卻液提供熱交換器，調(diào)節(jié)冷卻液溫度和流量。CDU包含將冷卻液與冷凍水循環(huán)管路隔離的輔助環(huán)路，實(shí)現(xiàn)嚴(yán)格的密封和對(duì)液冷系統(tǒng)的精確控制。通常，它可以將液冷溫度保持在數(shù)據(jù)中心露點(diǎn)溫度以上，以防止冷凝，并最大限度地提高制冷量。然后通過CDU內(nèi)的液-氣或液-液熱交換器移除來自機(jī)架的熱量。CDU可安裝在數(shù)據(jù)中心的列間或機(jī)房外部。CDU具有一系列可用容量，部分型號(hào)提供超過1MW的換熱量，可以用最少數(shù)量的CDU支持規(guī)模更大在復(fù)雜環(huán)境中部署間接或直接液冷設(shè)備時(shí)，CDU可為局部冷卻液輸送和排熱提供完整的解決方案。在全液冷環(huán)境中支持直接液冷方案時(shí)，CDU需搭配散熱系統(tǒng)使用。CDU與熱管背板一起使用時(shí)，通常會(huì)采用冷水機(jī)組提供的低溫冷水來對(duì)熱管背板進(jìn)行冷卻。室內(nèi)制冷機(jī)對(duì)于數(shù)據(jù)中心沒有冷凍水，或者不想接入現(xiàn)有冷凍水系統(tǒng)的應(yīng)用，模塊化室內(nèi)制冷機(jī)可為液冷提供高效可靠的支持。變頻泵調(diào)節(jié)制冷劑的流速以適應(yīng)熱負(fù)荷的變化，同時(shí)通過調(diào)節(jié)泵的轉(zhuǎn)速來維持出水溫度。設(shè)計(jì)用于支持液冷系統(tǒng)的室內(nèi)制冷機(jī)裝置的占地面積與外圍冷卻裝置相同，可以簡(jiǎn)化改造工作和超前新數(shù)據(jù)中心設(shè)計(jì)。TankTank可容納絕緣冷卻液中垂直安裝的服務(wù)器，其與CDU除熱量。散熱具有液-液熱交換器的CDU可連接到建筑物的冷凍水系統(tǒng)以便散熱。在沒有可用建筑冷卻水系統(tǒng)的情況下，可以采用上文所述的室內(nèi)制冷機(jī)?，F(xiàn)有的干冷器或冷卻塔可用于室外側(cè)散熱，但這些系統(tǒng)通常需要經(jīng)過改造以支持液冷系統(tǒng)。例如，根據(jù)設(shè)施的位置，干冷器可能需要絕熱輔助裝置，以全年維持液冷所需的較低供液溫度。基礎(chǔ)設(shè)施合作伙伴可以幫助您確定現(xiàn)有散熱系統(tǒng)所需的變更。液冷的優(yōu)點(diǎn)想要部署密度極高機(jī)架(30kW以上)的設(shè)施在是否使用液冷方面幾乎沒有選擇余地。無論如何配置或優(yōu)化系統(tǒng)，風(fēng)冷都無法提供維持IT系統(tǒng)可靠性所需的散熱能力。在邊緣計(jì)算和核心數(shù)據(jù)中心都是如此。在機(jī)架熱密度逐漸提升，達(dá)到必須采用液冷的閾值的情況下，設(shè)施管理人員將需要權(quán)衡通過轉(zhuǎn)向液冷而實(shí)現(xiàn)的益處與成本，以及將風(fēng)冷系統(tǒng)推向其能夠有效管理熱量的范圍之外的相關(guān)風(fēng)險(xiǎn)。部分機(jī)房管理人員可能還對(duì)將液體引入IT機(jī)架抱有疑慮。當(dāng)今的液冷方案設(shè)計(jì)旨在將流體泄漏的可能性及泄漏對(duì)數(shù)據(jù)中心運(yùn)行的影響降至最低?？梢耘c您的基礎(chǔ)設(shè)施提供商討論您的疑慮，以便更好地了解特定系統(tǒng)使用的泄漏緩解功能。液冷方案可能不適用于所有設(shè)施，但在適當(dāng)情況更佳的IT可靠性和性能液冷系統(tǒng)不僅可以實(shí)現(xiàn)所需的可靠性，還可以提高IT性能優(yōu)勢(shì)。隨著CPU外殼溫度接近最高安全工作溫度(采用風(fēng)冷時(shí)可能會(huì)發(fā)生此情況)，CPU性能會(huì)遭到抑制，采用液冷可避免發(fā)生熱失控。液冷方案允許密集排列的系統(tǒng)在其最大電壓和頻率下連續(xù)運(yùn)行，同時(shí)可避免過熱。提高能量效率與空氣相比，液體具備更高的熱傳導(dǎo)特性，且可免除在數(shù)據(jù)中心和服務(wù)器間實(shí)現(xiàn)空氣流通所需的風(fēng)扇，可以給采用液冷方案的數(shù)據(jù)中心中帶來顯著的節(jié)能。液冷所需的循環(huán)泵功耗低于采用風(fēng)扇實(shí)現(xiàn)相同冷卻效果所需的功率?？沙掷m(xù)性液冷不僅創(chuàng)造了降低數(shù)據(jù)中心能耗的機(jī)會(huì)，還可將電力使用效率(PUE)降至接近1.0，它為數(shù)據(jù)中心熱回收提供了更有效的方法，從而減少了對(duì)建筑物供暖系統(tǒng)的需求。來自系統(tǒng)的回水溫度可達(dá)到140°F(60°C)或更高，且液體到液體的傳熱效率要高于空氣系統(tǒng)可能達(dá)到的效率。最大化空間利用率通過液冷實(shí)現(xiàn)的部署高密度機(jī)柜能夠更好地利用現(xiàn)有的數(shù)據(jù)中心空間，無需擴(kuò)展或新建，也可以建造占地面積更小的設(shè)施。它還可以在物理空間有限的情況下支持處理密集型邊緣計(jì)算應(yīng)用。降低擁有成本美國(guó)采暖、制冷與空調(diào)工程師學(xué)會(huì)(ASHRAE)對(duì)風(fēng)冷數(shù)據(jù)中心與混合模型風(fēng)冷