Chłodzenie data center - dlaczego precyzyjna kontrola temperatury jest tak ważna?

Precyzyjna kontrola temperatury w data center chroni urządzenia przed przegrzewaniem, ogranicza powstawanie lokalnych gorących stref i stabilizuje warunki pracy całej infrastruktury. Nie wystarczy przy tym utrzymywać prawidłowej średniej temperatury w pomieszczeniu. Liczy się temperatura powietrza dopływającego do serwerów, sposób jego dystrybucji, wilgotność oraz zdolność instalacji do nieprzerwanej pracy przy zmiennym obciążeniu. Serwery zamieniają znaczną część pobieranej energii elektrycznej w ciepło. Im większa gęstość mocy w szafach, tym szybciej niewłaściwy przepływ powietrza prowadzi do wzrostu temperatury na wlotach urządzeń. Skutkiem mogą być ograniczenie wydajności podzespołów, awaryjne wyłączenia, skrócenie ich żywotności, a w skrajnym przypadku przerwa w działaniu usług.

Dlaczego średnia temperatura w serwerowni nie wystarcza?

Odczyt z jednego czujnika ściennego może wyglądać prawidłowo, mimo że część serwerów pracuje w zbyt wysokiej temperaturze. Dzieje się tak, gdy schłodzone powietrze omija wloty urządzeń, miesza się z gorącym powietrzem wyrzucanym przez serwery albo nie dociera do szaf o największym obciążeniu. Średnia dla całego pomieszczenia ukrywa wtedy lokalne różnice.

W data center temperaturę należy oceniać przede wszystkim tam, gdzie powietrze jest zasysane przez sprzęt IT. Czujniki umieszczone przy wlotach szaf pokazują warunki, w których rzeczywiście pracują urządzenia. Pomiary po stronie gorącego powietrza są również przydatne, ale służą głównie do oceny odbioru ciepła i działania układu przepływu, a nie do określania warunków zasilania serwerów.

Problem gorących stref często nie wynika z niewystarczającej mocy chłodniczej całego systemu. Przyczyną może być zbyt mały przepływ powietrza w konkretnej strefie, nieszczelność szafy, niezaślepione wolne miejsca montażowe, przeszkoda pod podłogą techniczną albo recyrkulacja gorącego powietrza. Zwiększenie mocy chłodzenia bez usunięcia takiej przyczyny może podnieść zużycie energii, lecz nie poprawić warunków na wlotach serwerów.

Co dzieje się ze sprzętem, gdy temperatura nie jest stabilna?

Elektronika serwerowa jest wyposażona w mechanizmy ochronne. Po wzroście temperatury wentylatory urządzeń zwykle przyspieszają, co zwiększa ich pobór energii i obciążenie mechaniczne. Jeśli odprowadzanie ciepła nadal jest niewystarczające, procesory lub inne podzespoły mogą ograniczyć wydajność. Kolejnym etapem może być kontrolowane albo awaryjne wyłączenie urządzenia.

Konsekwencje nie ograniczają się do pojedynczego serwera. Wyższa prędkość wentylatorów oznacza większy przepływ gorącego powietrza, który może pogorszyć warunki w sąsiednich szafach. Wyłączenie części infrastruktury zwiększa natomiast obciążenie pozostałych zasobów, jeśli środowisko korzysta z mechanizmów przenoszenia usług. Awaria chłodzenia może więc uruchomić sekwencję wzajemnie wzmacniających się problemów.

Znaczenie ma również tempo zmian. Duża bezwładność cieplna budynku nie zapewnia pełnej ochrony, ponieważ sprzęt o dużej gęstości mocy może szybko nagrzewać powietrze w zamkniętej strefie. System nadzoru powinien dlatego wykrywać nie tylko przekroczenie ustalonego progu, lecz także nietypowo szybki wzrost temperatury.

Temperatura, wilgotność i punkt rosy tworzą jeden układ

Kontrola warunków w data center nie może ograniczać się do temperatury. Zbyt suche powietrze zwiększa podatność środowiska na wyładowania elektrostatyczne. Nadmierna wilgotność może natomiast sprzyjać kondensacji i korozji, szczególnie gdy powierzchnia któregoś elementu ma temperaturę niższą od punktu rosy.

Punkt rosy określa temperaturę, przy której para wodna zaczyna się skraplać. Z tego powodu gwałtowne schładzanie powietrza bez uwzględnienia jego wilgotności może stworzyć inne zagrożenie niż przegrzanie. Sam odczyt wilgotności względnej także bywa mylący, ponieważ zmienia się ona wraz z temperaturą. Ocena punktu rosy ułatwia rozpoznanie faktycznego ryzyka kondensacji.

Klimatyzacja precyzyjna służy do utrzymywania kontrolowanych warunków temperaturowych i wilgotnościowych przy obciążeniu generowanym przez urządzenia techniczne. Projektując chłodzenie data center, trzeba więc traktować temperaturę, wilgotność oraz przepływ powietrza jako zależne od siebie parametry, a nie trzy osobne ustawienia.

Klimatyzacja precyzyjna a klimatyzacja komfortu

Klimatyzacja komfortu jest projektowana przede wszystkim dla pomieszczeń zajmowanych przez ludzi. W takich przestrzeniach obciążenie cieplne zmienia się wraz z liczbą użytkowników, porą dnia i warunkami zewnętrznymi. Urządzenia mogą pracować okresowo, a krótkie odchylenia temperatury zwykle nie powodują strat operacyjnych.

W serwerowni źródłem ciepła jest działająca bez przerwy infrastruktura IT. Dużą część obciążenia stanowi ciepło jawne, czyli takie, które bezpośrednio podnosi temperaturę powietrza. System chłodzenia technicznego powinien być dobierany właśnie do tego rodzaju obciążenia, zapewniać odpowiedni przepływ powietrza i utrzymywać zadane warunki w trybie ciągłym.

Nie oznacza to, że każde pomieszczenie z urządzeniami sieciowymi wymaga rozbudowanego układu precyzyjnego. Decyzja zależy od wydzielanego ciepła, krytyczności usług, wymaganej dostępności, możliwości odprowadzenia ciepła oraz skutków awarii. Im większe obciążenie i wyższy koszt przestoju, tym słabszym rozwiązaniem staje się poleganie na urządzeniu przeznaczonym wyłącznie do zapewniania komfortu ludzi.

Dystrybucja powietrza jest równie ważna jak moc chłodnicza

Moc chłodnicza określa zdolność systemu do odbierania ciepła, ale nie gwarantuje, że schłodzone powietrze trafi do właściwego miejsca. Serwery najczęściej zasysają powietrze z przodu i wyrzucają je z tyłu. Ustawienie szaf powinno wspierać ten kierunek przepływu oraz ograniczać mieszanie się strumienia zimnego z gorącym.

Układ zimnych i gorących korytarzy porządkuje przepływ: fronty szaf są skierowane do stref zasilanych chłodnym powietrzem, a tyły do stref odbierających powietrze ogrzane. Separację można poprawić przez zabudowę korytarza, zaślepienie wolnych przestrzeni w szafach i uszczelnienie niekontrolowanych przejść kablowych. Działania te nie wytwarzają dodatkowego chłodu, lecz zwiększają wykorzystanie już dostępnej wydajności systemu.

Przykładowo dwie szafy mogą mieć podobne obciążenie, ale pracować w innych warunkach. Do pierwszej chłodne powietrze dociera bezpośrednio, a gorący strumień jest skutecznie odbierany. Druga zasysa część powietrza wyrzuconego przez własne urządzenia, ponieważ ma niezaślepione wolne miejsca lub znajduje się na końcu źle zbilansowanej strefy. Dodanie kolejnego agregatu nie musi rozwiązać problemu drugiej szafy; skuteczniejsza może być korekta przepływu.

Jak dobierać system chłodzenia do rzeczywistego obciążenia?

Punktem wyjścia powinien być bilans cieplny obejmujący sprzęt IT, zasilanie, oświetlenie, ludzi oraz ciepło przenikające z otoczenia. Szczególnej uwagi wymaga moc pobierana przez urządzenia, ponieważ prawie cała energia zużywana przez działającą elektronikę ostatecznie trafia do pomieszczenia jako ciepło. Dane znamionowe pokazują możliwe maksimum, ale nie zawsze odpowiadają obciążeniu występującemu podczas normalnej pracy.

Dobór wyłącznie na podstawie powierzchni serwerowni jest błędem. Dwa pomieszczenia o tej samej wielkości mogą mieć zupełnie inne zapotrzebowanie, jeżeli w jednym stoją nieliczne urządzenia sieciowe, a w drugim szafy z gęsto rozmieszczonymi serwerami. O potrzebach chłodniczych decydują wydzielane ciepło i jego rozmieszczenie, nie sam metraż.

Nadmierne przewymiarowanie również ma konsekwencje. Urządzenie pracujące daleko od optymalnego zakresu może częściej się załączać i wyłączać, gorzej regulować warunki oraz zużywać energię nieproporcjonalnie do odbieranego ciepła. Bezpieczny zapas powinien wynikać z planowanego rozwoju infrastruktury i przyjętej redundancji, a nie z przypadkowego zwiększenia mocy.

Przy doborze należy sprawdzić także drogę przepływu powietrza, możliwość odprowadzenia ciepła na zewnątrz, dostępność miejsca instalacyjnego, warunki serwisowe oraz zachowanie układu po awarii jednego elementu. Sama suma nominalnych mocy urządzeń chłodniczych nie opisuje odporności całego systemu.

Redundancja ogranicza skutki awarii, ale nie zastępuje dobrego projektu

Redundancja oznacza utrzymywanie dodatkowej zdolności chłodniczej lub alternatywnej drogi działania na wypadek awarii i prac serwisowych. Jej poziom powinien odpowiadać wymaganej dostępności usług. Pomieszczenie obsługujące procesy krytyczne potrzebuje innego zabezpieczenia niż niewielka lokalna serwerownia, której kontrolowane wyłączenie jest dopuszczalne.

Zapasowa jednostka nie zapewni odporności, jeżeli wszystkie urządzenia zależą od jednego obwodu zasilania, wspólnego sterownika albo tego samego elementu odprowadzającego ciepło. Redundancję trzeba analizować jako cały łańcuch: zasilanie, automatykę, urządzenia chłodnicze, pompy lub wentylatory, instalację rurową i możliwość skutecznego dostarczania powietrza do szaf.

Istotna jest również konserwacja podczas pracy. Jeżeli wymiana filtra lub naprawa jednego urządzenia wymaga wyłączenia całego chłodzenia, nominalny zapas nie przekłada się na utrzymanie usług. Projekt powinien umożliwiać odseparowanie serwisowanego elementu bez utraty wymaganych warunków w strefie IT.

Monitoring powinien wykrywać trend, a nie tylko alarm końcowy

System monitoringu powinien zbierać dane z kilku punktów, zwłaszcza przy wlotach szaf i w miejscach narażonych na recyrkulację. Jeden czujnik umieszczony obok jednostki chłodniczej może potwierdzać, że urządzenie wytwarza zimne powietrze, ale nie pokaże, czy trafia ono do najbardziej obciążonych serwerów.

Alarm przekroczenia temperatury jest potrzebny, lecz równie ważna pozostaje obserwacja trendów. Stopniowy wzrost może wskazywać na zabrudzenie filtra, spadek wydajności wentylatora, zmianę przepływu po przełożeniu okablowania albo zwiększenie obciążenia szafy. Wczesne rozpoznanie trendu pozwala zaplanować interwencję, zanim warunki osiągną poziom wymuszający wyłączenie sprzętu.

Alarmy powinny docierać do osób zdolnych podjąć działanie, a procedura reakcji musi wskazywać kolejność czynności. Operator powinien wiedzieć, czy ma sprawdzić działanie jednostek, otworzyć alternatywną drogę przepływu, ograniczyć obciążenie IT, czy przygotować kontrolowane wyłączenie części infrastruktury. Samo rejestrowanie komunikatów nie ogranicza skutków awarii.

Najczęstsze błędy w chłodzeniu infrastruktury IT

Pierwszym błędem jest regulowanie systemu na podstawie temperatury powietrza powrotnego bez kontroli warunków na wlotach serwerów. Powietrze wracające do jednostki jest już ogrzane i jego temperatura opisuje inny punkt procesu. Może być przydatna do oceny odbioru ciepła, ale nie zastępuje pomiaru po stronie zasilania sprzętu.

Drugim jest rozwiązywanie każdego problemu przez obniżenie nastawy. Zbyt niska temperatura zwiększa zapotrzebowanie na chłodzenie, a nie usuwa przyczyny recyrkulacji lub niedoboru przepływu. Może też pogorszyć kontrolę wilgotności i zwiększyć ryzyko kondensacji w niekorzystnych warunkach.

Trzeci błąd polega na nieuwzględnianiu zmian infrastruktury. Dodanie serwerów, przeniesienie urządzeń między szafami albo zmiana zabudowy korytarza modyfikują rozkład ciepła i przepływ powietrza. Każda większa zmiana po stronie IT powinna prowadzić do ponownej oceny warunków termicznych, nawet jeśli całkowita moc chłodnicza pozostała taka sama.

Problemem bywa też odkładanie obsługi technicznej do chwili wystąpienia alarmu. Zanieczyszczone filtry, niedrożne wymienniki, zużyte wentylatory i nieprawidłowe wskazania czujników stopniowo zmniejszają skuteczność układu. Regularny serwis pozwala wykrywać takie zmiany w czasie, gdy infrastruktura nadal działa stabilnie.

Jak ocenić, czy chłodzenie data center działa prawidłowo?

Ocena powinna łączyć pomiary, oględziny przepływu i test zachowania systemu w warunkach zakłócenia. Prawidłowa temperatura przy niskim obciążeniu nie dowodzi, że instalacja poradzi sobie po zwiększeniu wykorzystania serwerów albo podczas wyłączenia jednej jednostki. Potrzebna jest obserwacja warunków w reprezentatywnym zakresie pracy.

• Sprawdź temperaturę na wlotach szaf. Pomiar wykonany w kilku miejscach ujawnia lokalne gorące strefy, których nie pokaże czujnik pokojowy.
• Porównaj obciążenie IT z dostępną wydajnością. Uwzględnij aktualny pobór mocy, planowaną rozbudowę oraz wydajność pozostającą po wyłączeniu elementu objętego redundancją.
• Oceń separację strumieni powietrza. Należy szukać niezaślepionych przestrzeni, nieszczelności i miejsc, w których gorące powietrze wraca na front szaf.
• Zweryfikuj monitoring i alarmowanie. Test powinien potwierdzić poprawność wskazań czujników, przekazywanie alarmów i gotowość procedur reakcji.
• Sprawdź możliwość serwisowania. Konserwacja pojedynczego urządzenia nie powinna pozostawiać infrastruktury bez chłodzenia, jeżeli wymagana jest ciągłość usług.
• Przeanalizuj trendy. Stopniowa zmiana temperatury, wilgotności lub czasu pracy jednostek może ujawnić problem wcześniej niż alarm progowy.

Jeżeli wyniki są niejednoznaczne, sama korekta nastawy nie wystarczy. Trzeba ustalić, czy ograniczeniem jest zdolność odbioru ciepła, przepływ powietrza, rozmieszczenie obciążenia, automatyka, czy stan techniczny instalacji. Dopiero rozpoznanie przyczyny pozwala dobrać działanie bez zwiększania kosztów i ryzyka w innym obszarze.

Najczęściej zadawane pytania

Czy otwarcie drzwi serwerowni może być awaryjnym sposobem chłodzenia?

Otwarcie drzwi może chwilowo ułatwić odpływ ciepła, ale nie zapewnia kontrolowanych warunków. Do pomieszczenia dostają się wtedy kurz oraz powietrze o nieznanej temperaturze i wilgotności, a przepływ staje się trudny do przewidzenia. Takie działanie może być elementem procedury awaryjnej, lecz nie powinno zastępować sprawnego systemu chłodzenia.

Czy większa liczba czujników zawsze poprawia bezpieczeństwo?

Większa liczba czujników pomaga tylko wtedy, gdy są rozmieszczone w punktach reprezentujących rzeczywiste warunki pracy sprzętu, a ich wskazania są analizowane. Nadmiar źle umieszczonych czujników może generować sprzeczne lub mało użyteczne alarmy. Ważniejsze od samej liczby jest pokrycie stref o różnym obciążeniu oraz regularne sprawdzanie poprawności pomiarów.

Co zrobić po nagłym wzroście temperatury w jednej szafie?

Najpierw należy potwierdzić odczyt drugim pomiarem i sprawdzić, czy urządzenia w szafie działają pod większym obciążeniem. Następnie trzeba skontrolować dopływ chłodnego powietrza, zaślepienia wolnych miejsc, pracę wentylatorów i możliwość recyrkulacji od strony tylnej. Jeżeli temperatura nadal rośnie, procedura powinna przewidywać ograniczenie obciążenia lub kontrolowane przeniesienie usług.

Czy serwerownia potrzebuje chłodzenia podczas chłodnej pogody?

Tak, jeżeli działające urządzenia nadal wytwarzają więcej ciepła, niż pomieszczenie może bezpiecznie oddać. Niska temperatura zewnętrzna może ułatwiać odprowadzanie ciepła, ale nie gwarantuje właściwych warunków przy wlotach serwerów. Sposób wykorzystania chłodnego powietrza zależy od konstrukcji systemu, kontroli wilgotności i ochrony pomieszczenia przed zanieczyszczeniami.

Jak często należy ponownie oceniać wydajność chłodzenia?

Ocena jest potrzebna po istotnej zmianie obciążenia IT, rozmieszczenia sprzętu, układu szaf, dystrybucji powietrza lub konfiguracji instalacji chłodniczej. Powinna być również częścią okresowych przeglądów, ponieważ wydajność urządzeń i opory przepływu zmieniają się wraz ze stanem technicznym instalacji. Termin kontroli należy powiązać z wymaganiami producentów urządzeń i procedurami utrzymania konkretnego obiektu.