Команда дата-центров Яндекса
Мы строим, поддерживаем и развиваем сеть дата-центров, которая позволяет обеспечивать пользователей и клиентов Яндекса качественными сервисами в режиме 24/7 с высокой скоростью доступа.
МВт
мощность одного дата-центра Яндекса
м²
площадь корпусов одного дата-центра
~15 га
территория, которую занимает один дата-центр
PUE
энергоэффективность
Главные принципы устройства дата-центров Яндекса
О дата-центрах
Проектирование и строительство
Использование опыта эксплуатации всех предыдущих площадок.
Выбор площадки: наличие свободной электрической мощности и доступного земельного участка.
Масштабируемость: строим здания одинаковыми частями или модулями, что даёт возможность использовать типовой проект.
Резервирование во всех критических системах не хуже чем N + 1, электричество 2N.
Единый пол (нулевой уровень) во всех помещениях ДЦ: можем передвигаться от АБК до каждого модуля под крышей и не поднимаясь по лестнице.
Как устроено электроснабжение
Собственные подстанции с высоким напряжением обеспечивают надёжность и стабильность электроснабжения. Например, во Владимире мы подключены напрямую к одной из крупнейших подстанций в Европе, что минимизирует риск перебоев.
Система электроснабжения ДЦ имеет в составе подстанцию 110/20 кВ, распределительную сеть среднего напряжения 20 кВ и системы низкого (рабочего) напряжения 0,4 кВ в каждом модуле.
Электропитание типового модуля организовано от двух одинаковых ГРЩ. К одному сразу подключены ИБП и есть возможность подключить ДГУ. Ко второму ГРЩ есть возможность подключить ИБП.
Два независимых шинопровода (от двух ГРЩ) над каждой ИТ-стойкой в машинном зале.
Два независимых ввода 20 кВ в каждое здание.
Фрикулинг в дата-центрах Яндекса
Алгоритмы работы системы вентиляции являются собственной разработкой Яндекса и запатентованы.
Воздушное охлаждение: в ДЦ Яндекса нет холодильного оборудования. Мы охлаждаем серверы только внешним воздухом.
Прямой фрикулинг: приточные вентиляторы забирают уличный воздух, фильтруют его и подают в холодный коридор машинного зала. Серверные стойки забирают его, охлаждаются и выбрасывают нагретый воздух в горячий коридор. Оттуда вытяжные вентиляторы выводят воздух наружу. Отказ от холодильного оборудования позволяет снизить энергопотребление и повысить надёжность системы.
Умные технологии: принципы, по которым работает система вентиляции, позволяют повысить эффективность системы охлаждения ДЦ.
Серверы
Наша разработка: мы спроектировали серверы собственного термодизайна. Они способны охлаждаться воздухом, при этом соответствуют всем потребностям внутренних и внешних клиентов в части конфигурации.
Эксплуатация: состояние сервера мониторится более чем по 200 параметрам, часть поломок может быть устранена в автоматическом режиме, остальное преобразуется в понятные задачи на починку. Высокая степень автоматизации и развитые системы предупреждений позволяют нам обходиться малыми силами в обслуживании: один человек способен поддерживать работоспособность нескольких тысяч серверов.
Первичное тестирование: перед тем как передать серверы сервисам, мы проводим нагрузочное тестирование, которое длится от восьми часов до нескольких дней. Во время тестирования обновляются прошивки и микрокод на компонентах, проверяется стабильность и корректность работы сервера и его комплектующих, оценивается производительность по заданным критериям. Эти меры позволяют передавать в эксплуатацию гарантированно работоспособное оборудование.
Сетевая часть
Топологии Clos и DragonFly+ позволяют строить отказоустойчивую сеть с широкой полосой пропускания, связывающую тысячи серверов в ДЦ.
Многократно зарезервированная магистральная сеть между ДЦ на основе собственных оптических линий.
Автоматизированая эксплуатация 100% сетевых элементов.
Каждый ДЦ имеет два независимых коммутационных центра, расположенных в разных зданиях.
Эксплуатация
Эксплуатация начинается ещё на стадии проекта: подбор инженерного оборудования и создание команды эксплуатации.
Этапы эксплуатации:
- Пусконаладочные работы.
- Ежедневный контроль и обслуживание.
Окончание эксплуатации: переиспользование оборудования, анализ опыта и передача данных в проектный отдел для улучшения будущих площадок.
Средства мониторинга, автоматизации, планирования и управления процессами эксплуатации дата-центров — собственной разработки.
Регулярное обслуживание: предотвращение сбоев.
Вызов для дата-центров
Основные вызовы для дата-центров сегодня связаны с растущим спросом на мощности и ограничениями в их доступности. По мере увеличения объёмов данных и расширения вычислительных задач, особенно связанных с искусственным интеллектом, операторам приходится тщательно планировать использование существующих ресурсов и одновременно готовиться к масштабированию инфраструктуры.
Кроме того, строительство новых дата-центров — процесс длительный и сложный, требующий нескольких лет на проектирование, согласование и возведение объектов.
Сергей Крупин
Руководитель направления общей инфраструктуры дата-центров
«Общая тенденция для дата-центров — увеличение мощностей. Все оценивают её по‑разному, но сходятся в одном: сервера начинают больше потреблять. Искусственный интеллект, GPU на самом деле требуют больших ресурсов».
Заглянуть внутрь дата-центра
Делимся опытом
Скрытые возможности дата‑центров
Серия статей, в которых подробно рассказываем о внутреннем устройстве облачной платформы — от ЦОДов до работы технической поддержки.
Сбой с вероятностью один раз в 20 лет: о мартовском инциденте в дата-центре
В марте 2025 года сервисы одного из основных дата-центров оказались недоступны. Узнаем, какие сработали риски, что происходит в дата‑центре во время таких событий и как их не повторить.
Заглянуть внутрь ДЦ
Это виртуальная экскурсия по дата-центру Яндекса во Владимирской области. Видео снято в формате 360˚. Чтобы осмотреть ту или иную локацию без спешки, нажмите на паузу.
Супергерои в мире хранения данных: как дата-центры работают 24/7
Рассказываем, как устроены дата-центры, как люди помогают им работать и почему там всегда нужно что-то чинить.