Storage

Создаём и развиваем общую инфраструктуру хранения данных, на которой команды Яндекса и пользователи Yandex Cloud строят свои продукты.

Надёжные решения обеспечивают стабильную работу сервисов и масштабируются на сотни эксабайт информации и десятки тысяч серверов.

Данные

 
эксабайта

объём стораджа, который ежегодно растёт

 
> 1 трлн

файлов

Инфраструктура

 
Тысячи серверов

в геораспределённых дата-центрах

 
> 300 тыс.

жёстких дисков

Нагрузка

 
гигабит/с

трафика входящей и исходящей нагрузки

 
> 1,5 млн

запросов в секунду

Собственные разработки

Object Storage

Собственная реализация S3-совместимого API. Используется сервисами Яндекса и клиентами Yandex Cloud.

Avatars

Сервис для хранения, обработки и сверхбыстрой раздачи изображений Яндекса.

YARL

Распределённый рейт-лимитер с практически нулевыми накладными расходами. Важнейший компонент для управления нагрузкой в инфраструктуре Яндекса.

MDS (Единое хранилище данных)

Собственная технология хранения данных с возможностью роста на сотни эксабайт. Обеспечивает неограниченные возможности горизонтального масштабирования по нагрузке.

S3 on-premise

Разработка собственного решения для развёртывания S3 в контуре клиента. Большой проект по обеспечению автономности и отказоустойчивости работы построенного решения в отрыве от инфраструктуры Яндекса.

Основные принципы

Эффективность хранения

Способы хранения подбираются под тип данных пользователей: одни файлы запрашиваются, меняются или удаляются часто, другие — раз в месяц или год. Поэтому одни данные раскладываются на множество дисков, кешируются и отдаются максимально быстро; другие — хранятся с минимальным оверхедом без потери надёжности.

Особенности

  • Низкая стоимость хранения.
  • Адаптация способов хранения под разные типы данных.

Надёжность хранения

Storage реализует решения, которые обеспечивают сохранность и доступность данных пользователей, в том числе при неполадках с дисками, хостами и дата-центрами.

Особенности

  • Обеспечение доступности данных даже при отказе одного из дата-центров.
  • Мониторинг надёжности хранения данных, непрерывное поддержание необходимой репликации.

Масштабирование

Storage обеспечивает хранение данных для всех сервисов Яндекса, заранее разрабатывает и масштабирует решения под растущие потребности платформ.

Особенности

  • Масштабирование на порядки.
  • Сотни эксабайт.

Технологический стек

Работаем с широким спектром технологий и языков, чтобы быстро и эффективно решать задачи.

Go

Обеспечивает читаемость, быстроту написания кода, лёгкость в распараллеливании и высокую производительность.

Python

Подходит для разработки инструментов автоматизации.

C/C++

Эффективен для задач, в которых приоритетны производительность и необходимость работать как можно ближе к железу.

Выступления экспертов Storage

Делимся с сообществом знаниями и опытом и рассказываем, как у нас всё устроено.
Эксперт

Внутри S3

Рассказываем о яндексовой инсталляции хранилища S3 с миллиардом файлов, умном шардировании, управлении распределением занятого места и нагрузкой между шардами.
Смотреть видео​
Эксперт

Yandex Cloud Backup: сохранить всё!

Рассказываем о сервисе для создания и хранения резервных копий в Yandex Object Storage, его возможностях на старте и в ближайшем будущем.
Смотреть видео​
Эксперт

Beyond Object Storage: СDN и новые возможности объектного хранилища

Рассказываем о расширении возможностей в Object Storage: новых способах подключения, позволяющих ещё быстрее начать использовать Storage, сервисе CDN и его интеграциях с другими сервисами Yandex.Cloud и партнёрстве с G-Core Labs.
Смотреть видео​

Как попасть в Storage

В Storage есть задачи для разных технических специалистов. Нужны как амбициозные middle-разработчики и опытные ведущие инженеры, так и активные технические менеджеры.

Вы также можете попробовать свои силы в формате буткемпа в Core Infrastructure.

Узнать про буткемп