Journal Information

This study describes the analysis of a 20 MW chilled water plant used for the IT cooling of a recently constructed data center in Korea. The CFD model was developed with the aim of evaluating the impact of problems such as chiller failure on the water and air temperatures in the cooling system. The numerical model includes the chilled water hydraulic network and individual water-to-air CRAC units. The coupling between the IT server room air temperature levels and the cooling plant has enabled a full assessment of the cooling system design in response to system fault conditions to be performed. The paper examines an emergency situation involving the failure of the cooling plant, and shows how the inherent thermal inertia of the system along with additional inertia achieved through buffer systems allowed a suitable design to be achieved.

keywords

키워드

기호설명

하첨자

2.1 데이터센터 냉각시스템

해당 데이터센터의 냉각시스템은 Fig. 1과 같이 총 9개층의 IT서버룸을 담당하는 중앙냉수식 CRAC유닛과 냉수를 공급하는 지역냉방 시스템으로 구성되어 있다. 항온항습기인 CRAC 유닛은 예비를 포함하여 층당 43개가 설치되었고 기본적으로 IT서버 배치가 cold aisle containment로 구성되어 비교적 높은 온도로 급기가 가능하다. 따라서 냉수공급온도는 1차측 지역냉수를 열교환하여 비교적 고온의 냉수를 2차측으로 공급한다. 또한 비상시 냉수공급이 중단될 상황을 고려하여 버퍼탱크를 구성하고 있다.

table 1은 주요 냉각시스템의 공급조건을 보여준다. 데이터센터의 특성상 단계별로 IT서버룸이 채워지는데 운영초기에 먼저 구성되는 상부의 5개층을 대상으로 분석을 실시하였다.

전용 데이터센터의 냉각시스템 배관구성은 비상시를 고려하여 이중으로 입상을 구성하고 각 층에서는 루프형식으로 설치하는 것이 일반적이다. 열원장비 고장시 예비 장비가 기동하기 전까지 안정적인 냉수를 공급하기 위한 목적으로 버퍼탱크가 설치되는데, 그 전에 배관 내의 냉수를 열원공급 없이 IT서버 운영환경에 영향을 주지 않는 범위에서 재순환하여 사용할 수 있는 시간을 판단하여 경제적이고 최적화된 버퍼탱크 용량을 결정하는 것이 중요하다. 이를 위해서 배관내의 관수량을 우선적으로 산정하였다. table 2와 같이, 입상부분은 관경별로 구간을 나누어 산출하고 기계실부분과 기준층 수평배관은 동일한 관경의 길이로 계산하였다. 해당 냉수배관의 총 관수량은 220 m3로 산출되었다.

2.2 IT서버룸 분석 모델

IT서버룸 분석 모델은 CRAC 유닛의 토출온도와 IT서버로 인입되는 공기온도를 분석하고 각 서버 인입공기온도는 ASHRAE T.C 9.9 허용온도를 만족하는지를 판단한다. 그리고 CRAC 유닛 토출 온도범위가 확인되면 허용 가능한 냉수인입 온도범위를 찾아내고 해당하는 인입온도에 도달하는 시간을 계산하는 목적으로 CFD 시뮬레이션을 수행하였다. CFD 모델의 신뢰성을 위해서는 IT장비의 특성을 정확하게 반영하여야 한다. 분석을 위한 상용 시뮬레이션 프로그램은 다양하게 존재하지만, 그 중 데이터센터의 특수성을 반영한 특화된 시뮬레이션 프로그램인 6 sigma DC를 사용하였다. 6 Sigma DC는 데이터센터 기계설비 설계자를 위해 개발된 전용 설계 프로그램이며, 그 중의 하나의 해석모듈인 6 Sigma DC Room은 IT서버룸의 종합적인 효율검토가 가능한 CFD 시뮬레이션 프로그램이다. 본 프로그램의 특징은 데이터센터를 구성하는 가장 중요한 IT장비의 다양한 정보와 데이터베이스를 보유하고 있어 정확한 IT환경 구현이 가능하다.(5) 기본모듈은 cold aisle과 hot aisle을 최소 7개로 구성하였고(Fig. 1의 A’ 영역) 실의 깊이는 일반적인 CRAC 유닛이 공급 가능한 거리인 15 m 이하로 적용하였다.

Fig. 2와 같이, IT장비는 IU 서버를 42개 최대 설치할 수 있는 Rack으로 구성하여 전력밀도는 4.0 kW/rack으로 용량을 설정하였고 ASHRAE TC 9.9에서 제시하는 기준으로 192개를 배치를 하였다.

공조방식은 현재 가장 보편적으로 적용되고 있는 바닥급기+측면환기 방식이며 기류분포에 영향을 주는 R/F높이는 900 mm, 천장고는 3.0 m로 구성되어 있다(Fig. 3).

CRAC 유닛의 취출온도는 공조/냉각시스템의 에너지 소비와 밀접한 영향을 주는 중요한 요소이다. CRAC 유닛의 취출온도가 상향되면 공급되는 냉수를 상승시킬 수 있기 때문에 열원시스템의 상호 영향을 주게 된다. IT서버의 운영조건을 고려하여 시뮬레이션 경계조건은 table 3과 같으며, CRAC 유닛 취출온도 20~25°C에 대응하여 냉수온도 10~18°C로 변경하여 해석을 하였다.

IT서버가 정상운전이 가능한 데이터센터의 환경기준 범위(6)는 Class A1~A4의 권장치인 IT서버의 인입온도 18~27°C(40~60%)를 판단기준으로 선정하였다.

table 4는 CFD 모델의 적정성을 판단하는데 가장 기본적으로 요구되는 기준으로 4개의 Class 구분으로 IT장비의 운영환경을 보여주고 있다. 제시된 조건은 실제로 냉각을 위해 IT서버로 인입되는 공기의 조건을 나타내는 것으로 서버룸 실내의 평균 조건을 만족해야하는 것은 아니다. 비상시에는 허용 조건까지 범위를 확장하는 것도 가능하지만, 열적 균형이 깨지게 되면 허용 조건을 초과하는데 많은 시간이 소요되지 않기 때문에 본 연구에서는 권장조건에 준하여 분석 하였다.

2.3 시뮬레이션 결과

IT서버룸의 CRAC 유닛은 인입 냉수온도의 기준에 의해 냉방코일(열교환기)의 용량이 결정되기 때문에 인입되는 냉수의 온도가 변경되면 코일 냉각능력이 변경되고 실내로 취출되는 공기의 온도도 연차적으로 변화하게 된다. 적용된 CRAC 유닛의 기술 데이터를 기반으로 냉수입구온도 변화에 따른 공기 입, 출구(SA/ RA) 온도변화를 분석한 결과, Fig. 4와 같이 냉수온도 14°C까지는 정상적인 운전이 가능하지만 냉수온도 15°C 이상으로 공급되면 코일의 냉각능력이 저하되어 실내로 취출되는 공기온도가 상승하고 CRAC 유닛 냉방코일의 냉각능력이 저하되기 시작된다.

CFD 시뮬레이션 결과, CRAC 유닛의 실내공기 토출온도에 따른 IT서버의 인입온도 및 IT서버룸의 온도분포는 냉수공급온도 조건에 따라서 table 5, table 6과 같다.

IT서버룸의 공조효율 평가의 가장 중요한 요소는 온도분포이며, 특히 IT서버로 인입되는 공기온도이다. 인입공기가 상승하면 서버장애의 주요 원인이 되기 때문에 IT서버의 공기 인입부를 물리적으로 구역하는 cold aisle containment를 적용하여 효율을 높였다. 취출온도에 따라서 온도영역은 차이가 나지만 전체적으로 cold aisle과 hot aisle은 구분되어서 분포하며, containment로 구성된 대안은 그 온도가 확연한 차이를 보이고 있다. 인입공기가 재순환에 의해서 상승하면 서버장애의 주요 원인이 되며, 대부분의 랙-서버의 상부에서 발생한다. 실내(서버)발열이 CRAC 유닛 용량의 85% 이하 수준이면 실내 취출온도 약 24.0°C까지는 적용된 설계용량으로 운전이 가능하고 이때의 냉수온도는 17°C이다.

Fig. 5와 같이 냉수온도가 17°C를 넘게되면 CRAC 유닛의 냉각용량이 80% 이하로 감소하고 실내의 온도가 급격하게 증가하는 것을 볼 수 있다. 이것은 CRAC 유닛 코일의 냉각능력만을 기준으로 온도변화를 분석한 정상상태의 결과이다.

3.1 배관내 냉수온도 변화율

CFD 분석 결과, 허용 가능한 냉수온도 범위가 도출되었고 이에 따라서 온도도달 시간을 산출해야한다. 열원 중단 후 냉수온도 상승 해석은 기준층 1개층 계산을 위한 시스템 scale-down을 실시하여 수행하였다. 이에 따라서 총 관수량은 1개의 층을 기준으로 약 45 m3/층이 된다. table 7 은 기준층 CRAC 유닛의 용량 및 운전조건을 보여주고 있으며 Fig. 6은 기준층 서버룸의 냉수공급 scale-down 개념과 조건을 보여주고 있다.

열원 중단 후 배관내 냉수온도 변화율 및 지연시간 계산을 위한 기본식은 식(1)~식(3)과 같다.

식(4)와 같이 IT서버룸의 발열부하가 일정하면 CRAC 유닛의 냉각코일에서 일정한 열량을 공급해야하고 냉수 입, 출구온도의 차는 일정하다고 가정하면, 식(5)와 식(6)과 같이 냉수온도 변화 및 지연시간의 함수를 도출할 수 있었다. 도출된 함수식을 사용하여 시간별 열손실에 의한 냉수온도 상승범위를 산출하기 위해 열원이 중단된 시점을 T₀로 설정한다. 이 시점에서는 총 관수량인 V₂의 45 m3 중 CRAC 유닛을 통과한 CHR 배관내 15.5°C에 도달한 냉수량을 제외한 CHS 배관내의 10°C의 냉수량은 50%인 22.5 m3이며, 이때의 관수량은 V₁이다. 그리고 V₁의 관수량의 열용량을 모두 소진하여 15.5°C에 도달하는 시간 t₁은 식식(5)에 의해 3.45분이 된다. 이때가 총 관수량 V₂가 모두 15.5°C에 도달하는 시간이다. 다시, V₂가 모두 21.0°C에 도달하는 시간 t₂는 10.36분이 경과되고, 동일하게 V₂가 모두 26.5°C에 도달하는 시간 t₃은 17.27분이 된다.

세부 구간별로 냉수온도 변화의 시간함수는 식(7)과 같이 도출될 수 있다.

단, x는 냉수공급온도

3.2 열원 중단시 IT환경 정상운전 가능 시간분석

IT서버룸 CRAC 유닛으로 공급되는 열량을 관수량 보유열량 기준으로 분석한 결과, 10°C 기준 배관 내 냉수가 14°C까지 상승하는 시간은 약 150초(2분 30초)가 소요된다.

장비선정은 외기냉수냉방을 위해 냉수공급온도 14°C까지는 CRAC 유닛이 실내의 설정온도 유지가 가능하도록 구현하여 이 시각까지는 안전구간 범위 안에 해당된다. 장비 제조사 기술 데이터를 기반으로 한 냉수 입, 출구 온도변화에 따른 공기 입, 출구 온도변화는 냉수온도 14°C까지는 IT환경유지에 어떠한 영향을 주지 않는다. CFD 시뮬레이션을 통해 도출된 IT서버로 인입되는 공기온도가 ASHRAE T.C 9.9 허용온도를 만족시키기 위한 CRAC 유닛 취출온도 범위는 최대 24°C이다. 그리고 공기온도의 유지가 가능한 허용 냉수인입온도 범위는 17°C이다. 해당하는 냉수 인입 온도에 도달하는 시간은 열원중단 후 약 320초(5분 20초)간 정상운전이 가능하다. Fig. 7은 냉수온도 변화의 시간함수는 식에 맵핑된 안전운전구간과 정상운전구간의 허용가능 시간을 보여주고 있다.

References