Иммерсионное охлаждение или как не пустить деньги на воздух
Сегодня, если спросить у любого знакомого, который хоть краем уха слышал про майнинг, что для этого нужно, он ответит – мощное оборудование. А вот опытный майнер знает, что помимо оборудования нужно организовать соответствующую инфраструктуру, для того чтобы это оборудование работало эффективно. Другими словами, если не обеспечить свою ферму правильной системой охлаждения, то вместо потенциально обеспеченного будущего, можно просто остаться со сгоревшими через пару месяцев работы асиками и видеокартами. Ну и кредитами, на которые все это было куплено. Чтобы избежать такого сценария попробуем разобраться из чего складываются эти риски, какие существуют альтернативы и в каких случаях применимы.
У большинства современных «фермеров» железо охлаждается одним из самых распространенных, привычных и, при этом, слабо эффективных видов теплоносителя — воздухом. Более грамотные майнеры уже знают о преимуществах применения системы иммерсионного охлаждения, в то время как их менее опытные “коллеги” все еще достаточно скептически относятся к такого рода изыскам.
Но не будем спешить и постараемся все разложить по полочкам. Начнем с ответа на вопрос: «Почему вдруг охлаждение воздухом стало неэффективно, если все этим пользуются?» Дело в том, что спрос на вычислительное оборудование за последние годы резко увеличился благодаря востребованности технологии блокчейн и динамичности рынка криптовалют. Если для майнера-любителя воздушное охлаждение всё еще может быть актуально, то для больших ферм это превращается в головную боль. Да, когда-то охлаждение воздухом было единственным способом отвода тепла, так как не было лучшей альтернативы. Но сегодня они есть и спрос на такие системы охлаждения медленно, но уверенно растет. Так что как минимум рассмотреть существующие варианты как бывалым майнерам, так и тем, кто только знакомится с этой деятельностью, лишним не будет.
Пример: для отвода тепла с 10 Asic Antminer S9 с потребляемой мощностью около 1350 Вт каждый, необходимо 4 000 куб.м воздуха в час. При переводе даже на минимально рентабельную ферму с таким подходом к охлаждению необходимы дополнительные затраты на оборудование помещения, установку вентиляции и профессиональных кондиционеров, обслуживание которого стоит недешево, которые, к тому же, потребляют дополнительное электричество. При этом, с воздушным охлаждением, все еще остается такая серьезная проблема, как пыль. Частички пыли накапливают статическое электричество, которое может привести к выходу из строя оборудования в долгосрочной перспективе.
А шум? 1 асик создает шумовой фон в 75дБ, который в принципе можно и потерпеть. Но, представьте себе шум, когда таких же асиков 10, 100, 1000…и человека который присматривает за фермой круглосуточно, в наушниках.
Производительность также зависит от эффективного отвода тепла. Все мы знаем, что мощность видеокарт обусловлена хэшрейтом. Максимальный хешрейт достигается разгоном видеокарты, а разгон требует более эффективного охлаждения. Но и здесь стоит отметить нюанс: одни элементы видеокарты нагреваются больше, чем другие, и работа в постоянном режиме максимальной производительности так или иначе сказывается на сроке эксплуатации видеокарты в целом, т.к. у воздушного охлаждения отсутствует термостабильность.
Тем не менее, не смотря на описанные проблемы, майнеры не спешили переходить на альтернативные системы охлаждения, поскольку их использование было не выгодно, ведь до недавнего времени и они не были избавлены от общих недостатков: дороговизны, сложности монтажа, малой плотности размещаемого оборудования. Однако с появлением крупных игроков, увеличением инвестиций, количества оборудования и затрат на электроэнергию, начали появляться новые, более инновационные подходы к охлаждению оборудования.
В результате проведенных исследований, команда BiXBiT представила комплексное решение для размещения оборудования для майнинга – мобильный модуль с системой иммерсионного охлаждения. Использование именно иммерсионной системы охлаждения решает основные проблемы, с которыми сталкиваются сегодня майнеры.
Теплопроводность жидкости в 25 раз выше, чем при воздушном охлаждении, что, в свою очередь, значительно увеличивает степень термостабильности внутри установки. За счет этого, время службы оборудования увеличивается и соответствует сроку, заявленному производителем (а в некоторых случаях превышает).
Например, процессор, загруженный на 100%, при температуре окружающей среды 32ºC демонстрирует среднюю температуру ядра 85ºC. При погружении в жидкость того же процессора с температурой среды 34ºC средняя температура ядра будет составлять уже 65ºC. Такая высокая теплопроводность и термостабильность жидкости позволяют сильнее разогнать оборудование, тем самым повысить его производительность на 20-40% в зависимости от поставленных задач.
Применение системы иммерсионного охлаждения устраняет основные причины выхода электроники из строя: перепады температур из-за подачи неравномерно охлажденного воздуха, перегрев. Также исключает возможность попадания на устройства пыли и мелкого мусора. Еще одной особенностью применения иммерсионного охлаждения является высокая степень компоновки размещаемого оборудования. В стандартном морском контейнере размером 10 футов помещается в 2,5 раза больше ASIC и в 6 раз больше видеокарт, чем при воздушном охлаждении. Это достигается за счёт отсутствия необходимости в создании холодных и горячих коридоров, установке дополнительной вентиляции и профессиональных кондиционеров. Что, кстати, снижает затраты на электроэнергию и оборудование помещения для майнинга. Например, экономия на 864 видеокартах при потребляемой комплектом кулеров мощности в 6 Вт составит более 3700 кВт-ч в месяц. Для 192 устройств ASIC при потребляемой комплектом кулеров мощности 70 Вт экономия составит почти 10000 кВт-ч в месяц. Более того, такие установки работают бесшумно за счет демонтажа штатных систем охлаждения устройств.
При погружении оборудования в жидкость, штатные системы охлаждения, генерирующие основную долю шума, демонтируются, что позволяет установкам работать практически бесшумно. К тому же, использование иммерсионной системы охлаждения безопасно, так как для воспламенения жидкостей необходима температура не ниже 120-130 ºC.
Текущий рынок испытывает недостаток решений, способных демонстрировать ту же простоту и эффективность, как погружное охлаждение. Подход BiXBiT к охлаждению позволяет экономить на электроэнергии, продлевать эксплуатационный период оборудования и, как итог, повышать его производительность. К тому же, все это безопасно, бесшумно и не требует какого-то специального обслуживания, так как большинство современных теплоносителей не требуют особого ухода и частой замены.
Самое главное о блокчейн-индустрии в нашем телеграм-канале!
Источник
Что такое иммерсионная жидкость («сухая вода») и где ее применяют?
Что это такое?
Иммерсионное охлаждение – это снижение температуры компьютерного оборудования путем его погружения в диэлектрическую теплопроводную жидкость. В качестве жидкости в основном используется непроводящее неемкостное минеральное масло, так как оно не выводит из строя электронику.
Народные умельцы заливают жидкость в аквариум и опускают в нее майнер с включенными вентиляторами. Вместо воздуха он прогоняет масло, которое нагревается и затем испаряется, вентиляторы эффективно перемешивают жидкость и поддерживают низкий уровень температуры. В дата-центрах используются гибридные закрытые системы охлаждения, состоящие из насосов, внешних радиаторов и иммерсионной жидкости. В основном применяют диэлектрическую жидкость с низкой температурой кипения – она испаряется, конденсируется на стенках и затем стекает в специальный бак. Благодаря замкнутому циклу работы удается сократить расходы на дорогостоящую жидкость.
Водоохлаждение ASIC-майнера в домашних условиях. Фото: BitCluster
Недостатки
У вас может возникнуть резонный вопрос: если иммерсионная система охлаждения настолько эффективна, то почему большинство майнеров пользуются вентиляторами? Дело в том, что у жидкостного охлаждения есть свои недостатки.
- Высокая стоимость. На обслуживание системы иммерсионного охлаждения от заводов-производителей уходит в среднем 25% от затрат на обеспечение работы майнеров. Другими словами, если ваше оборудование потребляет электричество на 10 тыс. рублей в месяц, то 2,5 тыс. рублей вы будете тратить на систему охлаждения. Жидкость, к сожалению, стоит дорого.
- Труднодоступность. Бак с иммерсионной жидкостью открывается только сверху, поэтому установить оборудование на стеллажах не получится.
- Грязь. Во время работы с майнером (замена кабеля, вентилятора) жидкость может пролиться на пол, ее очень трудно оттереть, особенно, если вы используете масло.
- Фильтрация. Охлаждающую жидкость необходимо фильтровать, чтобы избежать образования осадка и загрязнений.
Когда стоит использовать иммерсионное охлаждение?
Одной из первых компаний, которая начала разрабатывать системы иммерсионного охлаждения видеокарт для майнинга криптовалют, стала Green Revolution Cooling. Ведущий эксперт Брэндон Мур уверен в том, что развитию жидкостных систем охлаждения будут способствовать два главных фактора: высокая стоимость электричества и дорогая недвижимость.
Выбор составов для иммерсионного охлаждения для майнинга криптовалютИнновации
Новые возможности применения компьютеров, совершенствование чипов для сложных вычислений, механизмов и систем обработки цифрового кода, стремительными темпами внедряются в нашу жизнь.
Мы являемся свидетелями и участниками рождения новых отраслей использования компьютерной техники и майнинга криптовалют, бурного развития технологии вычислений Big-Data и технологии BlockChain. При этом многократно растет энергопотребление вовлеченной в эти процессы компьютерной мощности (ХЭШРЕЙТ), и задачи старой экономики – обеспечить электричеством новые потребности крипто-сообщества и вычислительных гигантов.
Энергоэффективность и сохранение экологии планеты – главный движущий мотив развития инновационных систем охлаждения суперкомпьютеров. Не на последнем месте также стоит и бизнес-интерес – чем лучше и эффективнее охлаждается процессор и плата, тем большую производительность она может обеспечить для вычислений, тем больше блоков и задач в итоге решит сервер, при меньшем энергопотреблении.
Не важно, говорим ли мы о нагреве графических видеопроцессоров (GPU), или чипов на хэш-платах, или блоках питания и преобразования энергии – применение иммерсионных (погружных) систем охлаждения несет в себе огромный потенциал для увеличения эффективности работы таких систем, и несомненные преимущества по сравнению с привычным воздушным охлаждением. К таковым преимуществам можно отнести:
- Лучший, в сотни раз по сравнению с воздухом, теплообмен, соответственно, и более эффективное охлаждение.
- Снижение электропотребления оборудования засчет меньшего нагрева.
- Повышение хэш-рейта, т.е. производительности оборудования. Возможность увеличения производительности чипов за счет лучшего охлаждения.
- 100% пожаробезопасность засчет исключения замыкания, самовозгорания. Применение диэлектрической среды для охлаждения, решает также задачу по борьбе со статическим электричеством на рабочих поверхностях чипа, которое может возникнуть при работе вентиляторов, и разнополярно заряженных пылевых частиц.
- Повышение долговечности работы чипов. При «разгоне» чипа на максимальной частоте, рабочее тело кристалла плавится, деформируется, происходит диффузия, и срок службы чипа резко снижается: либо чип «вылетает» (иногда не только он один), либо вся хэш-плата. Использование более эффективной системы охлаждения многократно продлевает срок эксплуатации систем.
- Решение проблемы сильного фонового шума. Невыносимый шум вентиляторов снижает до нуля популяцию мелких млекопитающих, насекомых, и паразитов в районе 100 м. от любой майнинг-фермы. Иммерсионная система дружелюбна к природе и к органам слуха человека.
- Уменьшение затрат на обслуживание оборудования. В погружных системах платы не нуждаются в профилактике, очистке, продувке от пыли и грязи, и не теряют своего «товарного вида» и рабочих характеристик, пока нормально работает иммерсионный состав.
ПЕРЕЙДЕМ К ВЫБОРУ
Какую иммерсионную систему охлаждения выбрать начинающему или продвинутому майнеру? Универсального ответа нет, но попробуем разобраться.
Про воздушное охлаждение написано много трудов и материалов, в контексте этой статьи мы вообще не будем рассматривать его, как способ охладить чип. Это популярное ныне решение рано или поздно, ввиду его минусов, будет «растоптано» прогрессом и требованиями рынка, и канет в Лету вслед за патефоном, флоппи-диском, и лампам накаливания. ОНО ВООБЩЕ НЕ ОТНОСИТСЯ К ИММЕРСИОННЫМ СИСТЕМАМ ОХЛАЖДЕНИЯ.
Дистиллированная вода. Особенности и последствия такого выбора.
- Приобрести качественную дистиллированную воду не так уж просто. Как и многие продукты на отечественном рынке, она далека от нормативов. В большинстве случаев в дистиллированной воде, пусть в минимальных количествах, но присутствуют различные соли, другие химические примеси.
- Даже если вам удалось приобрести качественную дистиллированную воду, чтобы обеспечить сохранение ее чистоты нужно сохранить полную стерильность системы. А этого в домашних условиях достичь практически не возможно. Со временем она теряет свои свойства, в резервуарах происходит размножение бактерий и результат – появление осадка, цветения, загрязнение системы. Вода теряет свои качества, а вместе с ними и диэлектрическую проницаемость.
- Потери жидкости. И это не обязательно банальные утечки, но и совершенно неконтролируемые и не фиксируемые потери в узлах и “переходниках”кустарно собранных систем.
- В полностью герметичных системах, при нагревании жидкости увеличивается ее объем и, как следствие, растет давление. А это повышает риски выхода оборудования из строя и снижает безопасность работы оборудования.
- Главное преимущество дистиллированной воды –самая низкая стоимостьтеплоносителя среди всех кто будет входить в сравнение.
- Кипение воды происходит при температуре +100 градусов по Цельсию. Это означает, что практически весь рабочий диапазон температур чипа, вода как теплоноситель, остается в жидком агрегатном состоянии, что позволяет проектировать однофазную систему охлаждения, которая более доступна и в инженерном, и в коммерческом плане. Но не отменяет вышеозначенных минусов.
Вообще стоит отметить, что водяное охлаждение используется и сегодня крупными игроками на рынке охладительных систем. Например, это компания Aquilaи ее серверная система Aquarius с водяным охлаждением; проект Asetekс оригинальной версиейпрямоконтактных систем жидкостного охлаждения.
Минеральное масло. Недостатки и преимущества.
Большой опыт использования его в качестве теплоотводящей жидкости для механизмов в машиностроении и тяжелой промышленности (трансформаторы, высоковольтные выключатели) заставил и его послужить в качестве охладителя и в компьютерах. Очень много в сети выложено материалов, которые описывают противоречивый опыт погружного охлаждения в емкостях, наполненных маслом. Главное здесь – все правильно подключить с первого раза, и не производить потом ревизию блока, потому что делать это уже после вынимания из “масляного”аквариума (маслариума) под силу только самым терпеливым и нацеленным на положительный результат майнерам.
Какие же недостатки погружного масляного охлаждения?
- Во первых, это должны быть минеральные масла. В противном случае, достаточно быстро происходит окисление этого масла.
- В открытых системах, коими и являются используемые для масла емкости, при попадании в масло пылевых частиц из внешней среды происходит его загустевание.
- С минеральными маслами в емкости для охлаждения остается необходимость использования гидравлики и помп. А значит, энергозатраты у пользователя все равно сохраняются.
- При охлаждении высокотемпературных поверхностей открытая, негерметичная система всегда обнаруживает себя зловонным запахом горелого масла, который делает непригодным применение таких систем в жилых помещениях.
- Данные системы также основаны на однофазном принципе, что дешевле двухфазных систем, но, конвекция и теплообмен внутри маслариума происходит менее эффективно, чем в воде, засчет большей вязкости жидкости, т.е. перемешиваниенагретых объемов масла с охлажденной массой менее интенсивное, что не позволяет излишне плотно упаковывать хэш платы на материнской плате. И необходимо учесть при проектировании коридоры для лучшей конвекции тепловых потоков.
Тем не менее, и в наше время есть современные промышленные системы, которые используют в качестве иммерсионного агента минеральное масло. Например, Carnot Jet System от Green Revolution Cooling – универсальная система, которая совместима с большим количеством оборудования и устанавливается в стойки, заполненые маслом. Но конечно не тем, которые доступны рядовому пользователю, речь идет о специализированном составе.
- Не всегда, но часто, цена масел, которые предпочитают отечественные владельцы майнеров, может быть сравнительно доступной.
- Малая испаряемость, а значит, нет большой необходимости регулярно пополнять резервуар.
Сухая вода, Novec™ и Fluorinert™. Только лучшее для современного майнера. Третья каста – специально разработанные инженерные жидкости и инертные составы, огнетушащие вещества, которые успешно используются и для тушения возгораний различных классов опасности (ингибируют пламя, быстро и эффективно снижают температуру в очаге возгорания) и для охлаждения интенсивно работающего оборудования. В чем их преимущества?
- Снижение энергозатрат на 97%.
- Абсолютная пожарная и электрическая безопасность для оборудования.
- Десятикратное уменьшение размеров серверных стоек.
- Полная бесшумность работы системы охлаждения.
- Экологичность и безопасный токсикологический профиль.
- Срок гарантии от производителя таких инженерных жидкостей – 30 лет.
На рынке есть жидкости, которые предназначены как для однофазного (температура кипения начинается от 95 градусов, например, это жидкости Fluorinert FC-770, FC-3283, FC-40, FC-43, FC-70 и Novec 7300, 7500 и 7700) и двухфазного охлаждения (температура кипения не выше 76 градусов, например, это жидкости Fluorinert FC-3284 и FC-72, Novec 7000, 49, 7100, 7200 и 774).
Принципиальное различие конструктивасистем такого охлаждения состоит в том, что в первом случае – это системы в которых жидкость с помощьюгидравлики и помп перемешиваетсядля конвекции нагретого и холодного объема, а во втором –двухфазном охлаждении, происходит интенсивное кипение вещества, пары отбирают тепло от чипа, и в верхней части куба в результате охлаждения, переходят снова в жидкое состояние (Принцип самогонного аппарата или ректификационной колонны с дефлегматором). Постоянные переходы действующего иммерсионного вещества из жидкой в парообразную фазу и обратно, в непрерывном процессе теплообмена, дают наименьшие затраты энергии на работу такой системы, и наиэффективнейший способ охлаждения рабочих поверхностей хэш-платы. В обоих случаях это полностью герметичные системы, с компенсаторами давления и системами контроля физического состояния.
И те, и другие варианты рассчитаны под определенные требования, но в любом случае обладают всеми вышеперечисленными преимуществами.
Где применяются системы иммерсионного охлаждения с агентом Novec™ и Fluorinert™ и их аналогами? Центры обработки данных, высоковольтные системы, майнинг, облачная коммерциализация. Это не полный список.Что выбрать вам? Решение всегда принимается на основании всей информации. Мы вам постарались ее изложить. И это не последняя статья на эту тему.
Но эволюция – это всегда выход на качественно новый уровень. Давайте шагать вверх, а не топтаться на месте.
Источник