За даними DataCenterDynamics, в американських ЦОД середня потужність на стійку поки становить 5,5 кВт, а в Європі - 4,1 кВт. Замовники намагаються не ущільнювати обладнання до межі без крайньої необхідності, щоб не довелося застосовувати складні інженерні рішення для відводу тепла. Виняток становлять суперкомп'ютери та обчислювальні кластери. Проте, збільшення щільності обладнання в ЦОД - одна з сучасних тенденцій.
У HP відзначають, що за останні вісім років продуктивність серверів збільшилася в 75 разів, а «продуктивність на ват» - лише в 16 разів. Зростання обчислювальних потужностей і зменшення фізичних розмірів систем призводить до збільшення щільності обладнання в стійці. На перший погляд, ситуація парадоксальна: підвищення щільності устаткування змушує створювати більш складні і дорогі системи охолодження для відводу тепла, які самі є потужними споживачами електроенергії. Теоретично це повинно вести до зниження енергоефективність ЦОД.
Насправді, як стверджують виробники, модульні сервери високої щільності приблизно на 20% ефективніше по енергоспоживанню, ніж звичайні стієчні сервери з тими ж процесорами. Справа не тільки в тому, що більше десятка таких пристроїв використовують один дубльований блок живлення і загальні вентилятори. Як пояснює Нейл Расмуссен, старший віце-президент і головний технічний директор APC-MGE, тепло, що виділяється в компактному просторі-ве, відвести набагато простіше, ніж з приміщення ЦОД великого обсягу, для чого потрібно було б збільшити потужність вентиляторів і організувати повітряні потоки. Звичайно, обладнання високої щільності виявиться більш ефективним лише при правильно організованому охолодженні.
У HP також переконані, що замовникам доведеться витрачати більше коштів на оплату електроенергії, якщо вони не зважаться збільшити щільність обладнання в ЦОД. Тим часом, за кордоном вартість споживаної сервером за три роки електроенергії (з урахуванням систем охолодження) зрівнялася з вартістю самого сервера. За даними Emerson Network Power, в сучасних ЦОД на 1 Вт навантаження ІТ потрібно 1 Вт енергії охолодження.
Згідно з розрахунками HP, на систему кондиціонування, вентиляції і обігріву (HVAC) припадає до 37% споживаної ЦОД потужності, а в окремих випадках - більше 50%. Ефективним же вважається показник менше 30%. За інформацією APC, системи кондиціонування та вентиляції витрачають 20-55% подається в ЦОД електроенергії. На практиці непоганий є ситуація, коли таке споживання не перевищує 50%. За підрахунками фахівців, пряме охолодження серверів шляхом подачі холодоагенту або охолодженої води до компонентів стійки набагато ефективніше, ніж використання повітряного охолодження.
З огляду на подальше збільшення тарифів на електроенергію в Росії на 23-25% в рік, високу плату за приєднання до енергомереж (в Москві, по публікованих в пресі даними, вона становить від 40 до 102 тис. Рублів за кіловат потужності) і зростання попиту на електроенергію (за офіційними прогнозами, він збільшиться до 2020 року на 70%), завдання підвищення енергоефективності стає дуже актуальною.
ЛОКАЛЬНЕ РІШЕННЯ
Збільшення потужності з 5 кВт до 15-16 або навіть до 20-25 кВт на стійку і більше (як при установці модульних серверів) змушує виробників переходити з традиційного кондиціонування на локальне охолодження стійок, окремих-них серверів і процесорів. Для зняття теплового навантаження 5 кВт необхідно подати на стійку 1000 м3 / ч повітря, з чим вентилятори цілком справляються. Відводити тепло від устаткування високої щільності дозволяє тільки пряме охолодження в стійці без змішування повітряних потоків з гарячого і холодного коридорів. Як пояснив Володимир Левін, директор з продажу компанії HTS (група компаній «Хоссер»), це досягається створенням герметично замкнутих гарячих / холодних коридорів або безпосереднім-тиментом охолодженням кожної стійки.
Розміщення системи охолодження поруч з джерелом тепла дозволяє організувати більш ефективний тепловідвід і домогтися високих експлуатаційних показників готовності ЦОД ( см. Малюнок 1 ). При установці системи кондиціонування в безпосередній близькості від устаткування ( см. Малюнок 2 ), Як наприклад, в APC In-Row, охолодження виявляється більш ефективним, ніж при застосуванні дуже потужного вентилятора в витяжної системи. Встановлюється збоку від стійки з обладнанням або між стійок система охолодження APC In-Row шириною 12 "може відводити до 30 кВт тепла. Нагріта вода подається в чиллер для охолодження.
Для локального охолодження призначені системи кондиціонування Liebert XD компанії Emerson Network Power. Вони дозволяють відводити надлишкове тепло з окремих-них зон або всього приміщення ЦОД за допомогою блоків, що монтуються на стійці або на стелі. Кондиціонери-доводчики відводять від стійки 15-30 кВт, причому до них подається не вода від чиллера, а фреон (ці системи «розв'язані» за допомогою проміжного модуля), що виключає небезпеку протікання. Таку систему можна нарощувати, коли встановлюється додаткове обладнання або збільшується його тепловиділення. За інформацією Emerson, розмістивши охолодження ближче до навантаження, вдається заощадити до 30% енергії.
Закриті гарячі і холодні коридори з замкнутими повітряними потоками, а також розміщення кондиціонерів поряд з джерелом тепла дозволяють відвести тепло від устаткування великої потужності. Однак через дуже сильного повітряного потоку виникають проблеми з обслуговуванням устаткування. Як тільки питоме тепловиділення стійки перевищує певний поріг, більш ефективним виявляється рідинне охолодження ( см. Малюнок 3 ).
Як підкреслює Анатолій Окряк, головний інженер і начальник ЦУС компанії «Айпінет», енергоспоживання та охолодження стають головними проблемами функціонування ЦОД різного масштабу. Якщо при потужності до 3 кВт на стійку проблема тепловідведення вирішується традиційними способами, то коли вона перевищує 5 кВт, доводиться вдаватися до спеціальних методів. Щорічно потреба в охолодженні ЦОД зростає приблизно на 8%. Це змушує переходити з традиційного кондиціонування на локальне охолодження шаф і навіть рідинне охолодження процесорів. Як варіант можна використовувати спеціальні дверцята стійок з вбудованим теплообмінником, що встановлюються збоку системи рідинного охолодження, або компактні комбіновані системи повітряно-водяного охолодження стійок.
МЕЖІ ЗРОСТАННЯ
За кордоном фахівці починають говорити про те, що рідинне охолодження повертається в ЦОД. Найчастіше його розглядають як єдиний спосіб впоратися зі зростанням енергоспоживання і вирішити задачу охолодження обладнання при зростаючій щільності. Колись такий підхід застосовувався для охолодження мейнфреймів. Тепер він затребуваний і в розподілених системах.
В основному мова йде про охолодження на рівні стійки. Системи з повітряно-рідинним охолодженням стійок (навісні дверцята або герметичні шафи для обладнання, де входить холодне повітря і вихідний теплий циркулюють всередині корпусу стійки) пропонуються на ринку вже не перший рік. Зростання тепловиділення змушує звертати на них більш пильну увагу. Цікавляться ними і в Росії, проте кількість впроваджень поки невелика.
Існують різні думки і рекомендації щодо того, при якому тепловиділення стає більш ефективним і зручним використовувати рідинне або повітряно-рідинне охолодження на рівні стійки. Станіслав Заржецкій, регіональний менеджер компанії Lampertz в Росії, упевнений, що якщо одна стійка з обладнанням виділяє більше 8-10 кВт тепла, то іншого адекватного рішення, крім системи рідинного охолодження, просто немає. У Lampertz використовують системи рідинного охолодження Rittal (обидві компанії входять в одну групу), а максимальна потужність, що відводиться зі стійки за допомогою такої системи в реалізованому проекті в Росії, становить 19,8 кВт / м2. При навантаженні понад 8 кВт (приблизно 2 кВт / м2) розробники вдаються до охолодження в закритому шафі з водою (етилен-гликолем) в якості теплоносія, що підтвердив Костянтин Спіров, директор компанії HTS.
На думку Андрія Полежаєва, керівника відділу проектів компанії «ТБС-Айтел», при спостерігається динаміці зростання продуктивності серверних систем традиційні підходи до відведення тепла виявляються не-ефективними. ЦОД з навантажувальні характеристиками обладнання на стійку більше 10-12 кВт - це граничне значення для класичних систем охолодження. Рассеиваемую потужність у вигляді тепла понад 10-12 кВт на стійку можна ефективно відвести тільки за допомогою системи на основі рідинного охолодження повітряних потоків.
При тепловиділення в ЦОД більше 12 кВт / м2 фахівці Emerson / Knuerr рекомендують застосовувати шафи з водяним охолодженням CoolTherm. В APC-MGE вважають, що рідинні системи охолодження потрібні при потужності 25-30 кВт на стійку. В даний час ряд виробників випускає системи рідинного охолодження, здатні відводити до 50 кВт на стійку, однак, як вважає Нейл Расмуссен, такі рішення непрактичні. Він упевнений, що енергоспоживання не буде рости нескінченно і стабілізується на рівні 20-25 кВт на стійку.
Крім того, за розрахунками самих вендорів, ущільнення понад 4-5 кВт на стійку не приводить до якого-небудь зменшення займаної обладнанням площі, оскільки, незважаючи на компактність обчислювальних систем, обладнання харчування і охолодження займає більше місця. Та й подальшого зниження TCO не відбувається: воно знову починає рости при потужності понад 8 кВт на стійку.
Тим часом системи з рідинний-ним охолодженням пропонують вже кілька виробників. На ринку з'явилися Emerson / Knuerr CoolTherm, Hewlett-Packard Modular Cooling System (MCP), IBM Rear Door Heat eXchanger (Cool Blue), Liebert XDFN, Schroff Varistar LHX20, Rittal Liquid Cooling Package (LCP), CoolFrame від Egenera і Liebert і ін . Для охолодження виходить з серверних стійок повітря в цих пристроях використовується вода або рідкий холодоагент. Такі системи значно знижують вимоги до прецизійним кондиціонерів серверного залу.
Теплопровідність води в 3,5 тис. Разів вище повітря. Щоб відвести 1 кВт тепла, за годину потрібно прокачувати 325 м3 повітря або 90 л води. Як стверджують виробники, застосування стійок з водяним охолодженням дозволяє знизити інвестиції в ЦОД до 40% (див. малюнок 4 ) І на 15% скорочує споживання електроенергії. Розробники CoolFrame говорять про більш ніж 20% економії. За даними компанії «Датадом», скорочуються і початкові інвестиції. Наприклад, для модульних серверів HP BladeSystem C-class система водяного охолодження обходиться приблизно в півтора рази дешевше (за рахунок економії площ, відсутність фальшпідлоги і т.д.). Однак деякі експерти не радять подавати воду в ЦОД через небезпеку протікання, відсутність культури монтажу і невисокої якості обслуговування таких систем. Проте, згідно з наявними прогнозами, через пару років вода буде охолоджувати навіть процесори.
Новітні розробки IBM підтверджують цю тенденцію. Недавно представлений суперкомп'ютер Power 575 на базі 448 процесорів Power6 з частотою 5,0 ГГц використовує для охолодження процесорних ядер рідинну систему. Вода подається в корпус по системі трубок і відводиться назовні для подальшого охолодження. За швидкодією цей комп'ютер в п'ять разів перевершує попередника, але споживає тільки 40% колишньої потужності. У перспективі розробники мають намір охолоджувати процесори водою зсередини. Сама ж по собі ідея водяного охолодження компонентів комп'ютерної системи давно відома і знайшла втілення в суперкомп'ютерах, високопродуктивних серверах і потужних ПК.
Якщо раніше рідинне охолодження серверів здавалося складним і ризикованою справою, то тепер одержувані переваги нерідко ото-рухають на задній план всі незручний-ства, хоча зі збільшенням кількості такого обладнання в ЦОД доведеться монтувати складні в обслуговуванні і потребують високої кваліфікації монтажників конструкції.
Виробники інженерного обладнання коректують свої стратегії відповідно до зростаючим енергоспоживанням ЦОД і совершенст-Вованом серверних технологій. Наприклад, розробники Emerson вважають, що сучасні ЦОД вимагають радикальної зміни технологій охолодження. Компанія вийшла на цей ринок в минулому році, слідом за придбанням Knuеrr, і тепер пропонує широкий спектр технологій, інтегруючи в стійку системи перевірені рішення охолодження серверних приміщень. Knuеrr накопичила великий досвід в даній області, створивши понад 400 патентованих розробок, що дозволить Emerson адаптувати стійку рішення до мінливих вимог клієнтів.
На думку Олексія Трояновського, директора департаменту інженерних систем компанії «Черус», згодом все прийдуть до рідинним системам охолодження, за допомогою яких можна домогтися більш високої щільності обладнання, адже рідина переносить тепло набагато краще повітря. Крім того, повітря тільки передає тепло, а вода може служити і накопичувачем, тобто бак з холодною водою здатний замінити резервний кондиціонер, наприклад, на час запуску дизелів або відновлення енергопостачання. Використання води для охолодження обладнання має безліч переваг. Наприклад, нічні тарифи на електроенергію нижче денних, і в комфортному кондиціонуванні вже давно застосовується рішення, коли чиллер охолоджує велику водяну ємність вночі, а вдень холод споживається з цієї ємності. Чому б не запровадити таке рішення в ЦОД?
"ЗА ТА ПРОТИ"
Кожен власник ЦОД проповідує свій підхід, часто діаметрально протилежний всім іншим: від повного недопущення води, до активного використання систем з рідинним охолодженням, відзначають в компанії «СІТРОНІКС Інформаційні Технології» ( «Квазар-Мікро»). На ринку представлені обидва класи рішень, що дозволяють ефективно охолоджувати високонавантажені стійки, тому щоразу питання вирішується індивідуально, залежно від вихідних даних, технічних вимог і бачення замовника. Кожна система має свої плюси і мінуси. Фахівці компанії «Антрел-Інтегро», що входить до ГК «Антрел-Автоматизація», вважають, наприклад, що на рівні локальних інфраструктурних компонентів рідинне охолодження застосовувати поки не можна.
Олексій Солодовников, керівник департаменту по роботі з корпоративними замовниками компанії APC в Росії, упевнений: пряме рідинне охолодження стійок в ЦОД не стане масовим явищем і допустимо лише для окремих додатків, таких як суперкомп'ютерні системи. У ЦОД, де можливі часті зміни і перестановки обладнання, перенесення стійок з рідинним охолодженням пов'язаний зі складним і трудомістким монтажем трубопроводів. Що стосується готових серверних платформ, де система рідинного охолодження передбачена виробником, для них додатково доведеться купувати чиллер.
Однак, на думку Андрія Павлова, генерального директора компанії «Датадом», глобальний перехід на рідинні системи охолодження - основна тенденція світового і російського будівництва ЦОД. Якщо ще пару років назад «вода» в ЦОД здавалася більшості клієнтів неприйнятним явищем, то тепер, у зв'язку з підвищенням питомого теплового навантаження і збільшенням масштабів ЦОД, звичайні фреонові системи холодопостачання втрачають свою актуальність. Така кількість зовнішніх блоків, яке потрібне для «середнього» ЦОД потужністю 1 МВт, часом просто ніде розмістити (зокрема, тому, що максимальна довжина фреонового контуру не може перевищувати 50-60 метрів), в той час як Чиллерні системи мають відносну «компактністю »і допускають віддалене розміщення. До того ж при збільшенні тепловіддачі від стійки понад 8-10 кВт охолодити її типовим способом подачі повітря під фальшпідлогою важко. І якщо не підвести рідину прямо до стійки, охолодити обладнання не вдасться.
Микола Паршин, директор центру експлуатації ЦОД IBS DataFort, називає системи рідинного охолодження цікавим рішенням. Компанія планує розміщення такого обладнання в новому ЦОД. Однак російські замовники поки тільки цікавляться подібними системами, досвіду їх тривалої експлуатації ще немає. Вони застосовуються лише в суперкомп'ютерних інсталяціях і обчислювальних кластерах, число яких невелика.
Рідінні системи охолодження могут буті ефективного и Економічно Виправдання, коли нужно відвесті Значний ОБСЯГИ тепла при дуже вісокій щільності обладнання, однак, як считает Валерій Тимошин, менеджер відділу маркетингу РІШЕНЬ «Енвіжн Груп», ризики Виникнення протікання стрімують розвиток подібніх РІШЕНЬ. За словами Андрія Полежаєва, Замовник почінають звертати Рамус на системи рідінного охолодження, но вісловлюють побоювання, что вітік води прізведе до аварійних СИТУАЦІЙ и значний ФІНАНСОВИХ Втрата. Однак насправді місця з'єднань трубопроводу водяних трас в приміщенні ЦОД ізолюються особливо ретельно, так що обладнання ЦОД частіше страждає від аварій системи водопроводу і водяного опалення будівлі. Крім того, чутливе обладнання розташовується в стійках з водяним охолодженням над теплообмінником повітря-вода.
Костянтин Спіров вказує, що на зростання інвестицій впливають перехід на водяні системи охолодження, подача холодного повітря безпосередньо в стійку (шафи з водяним охолодженням закритого типу), використання систем природного охолодження (Free Cooling) хоча і веде до зростання інвестицій на початковому етапі проекту, але витрати на подальшу експлуатацію ЦОД скорочуються. За оцінками зарубіжних експертів, оснащення серверів локальними модулями рідинного охолодження дозволяє наполовину знизити потреби в охолодженні приміщення ЦОД.
Разом зі збільшенням обчислювальної потужності зростає і енергоспоживання, що змушує користувачів передбачати можливості розширення системи охолодження. Як вважають в компанії «СІТРОНІКС Інформаційні Технології», при проектуванні систем охолодження для корпоративного ЦОД, наприклад, телекомунікаційного оператора, резерву менше 12 кВт недостатньо. Є ряд прикладів, коли ЦОД, по-будований з запасом на 10 років, опинявся завантаженим на 100% вже за три роки.
Модульний підхід, застосовуваний в системах класу Rittal RimatriX5 з повітряно-рідинним охолодженням стійок Liquid Cooling Package (LCP), дає можливість поступово розширювати потужності ЦОД, заздалегідь не інвестуючи значні кошти в систему кондиціонування надлишкової потужності.
Легкість масштабування - важлива якість такого підходу. За словами Андрія Полежаєва, система теплообміну в приміщенні ЦОД розширюється в міру збільшення потреби в охолодженні, і це не вимагає значних фінансових витрат. Тим часом, з моменту впровадження одиничних рішень з рідинним охолодженням до їх масового використання має пройти певний час -
точно так же кілька років тому впроваджувався модульний підхід.
Як пояснює Олександр Любуші-кін, керівник відділу систем електропостачання компанії «Поліком Про», при тепловиділення більше 10 кВт на стійку єдиним варіантом стає рідинне охолодження, однак в переважній більшості випадків для забезпечення потреб середнього сегмента бізнесу цілком достатньо повітряного. Численні компромісні варіанти дозволяють розширити природні кордони повітряного охолодження, а водяне охолодження в багатьох випадках подібно стрілянині з гармат по горобцях. Переходити на нього потрібно тільки тоді, коли всі варіанти зі схемами повітряного охолодження вичерпані.
Такий же стратегії дотримуються при створенні ЦОД замовники з інших країн ( см. Малюнок 5 ). За даними опитування, проведеного в минулому році сайтом SearchDataCenter.com серед зарубіжних компаній, більше половини в якості запобіжного скорочення енергоспоживання використовують віртуалізацію серверів, 32% домагаються цього за рахунок удосконалення систем повітряного кондиціонування і кращої організації потоків повітря під фальшполом, 27% не реалізують будь -або заходів взагалі, 17,5% відключають непотрібні сервери, 11% перейшли на харчування від постійного струму (хоча ефективність цього заходу заперечується), і лише 7,7% випробували рідинне охолодження (допускалося неско тілько варіантів відповідей). Показово, що 65% опитаних не планують коли-небудь застосовувати системи рідинного охолодження в ЦОД. На думку аналітиків, якщо в результаті збільшення щільності обладнання компанії зіткнуться з необхідністю впровадження систем рідинного охолодження, то з великою ймовірністю віддадуть перевагу передати такі обчислювальні завдання на аутсорсинг.
Однак ситуація швидко змінюється. За прогнозами Gartner, вже в наступному році половина існуючих ЦОД буде змушена вирішувати проблему недостатньої ефективності систем охолодження, які перестануть відповідати потребам відведення тепла в зонах з високою щільністю обладнання. Це змусить їх власників звернути увагу на нові підходи. Виробникам серверів, холодильного обладнання та систем інженерного забезпечення є що запропонувати. Як вважають аналітики Gartner, з імовірністю 70%, до 2011 р охолодження окремих стійок і рядів стійок стане домінуючим методом відведення тепла для обладнання високої щільності, а провідні виробники серверів почнуть використовувати технології охолодження на рівні шасі. Пряме рідинне охолодження розглядається сьогодні не тільки в якості одного із способів зниження витрат на електроенергію, але і як ефективний метод охолодження обладнання високої щільності, популярність якого буде зростати.
Сергій Орлов - оглядач «Журналу мережевих рішень / LAN». З ним можна зв'язатися за адресою: [email protected] .
Чому б не запровадити таке рішення в ЦОД?