2018/04/25 18:41:37

Яндекс (ИТ-инфраструктура)

Статья посвящена вопросам развития ИТ-инфраструктуры «Яндекса». Основная статья о компании - по ссылке.

Содержание

Дата-центры

По состоянию на начало 2018 года у «Яндекса» есть четыре дата-центра в Москве и Подмосковье, по одному дата-центру – в Рязанской области и Финляндии, а также ЦОД во Владимире.

В одном из дата-центров «Яндекса»

Ранее «Яндекс» также использовал дата-центры в США и Нидерландах, однако после введения в эксплуатацию собственного большого дата-центра в Финляндии в 2015 году необходимость в аренде этих площадок пропала, рассказали TAdviser в компании.

Развитие ИТ-инфраструктуры «Яндекса»

2017: За пять лет стоимость ИКТ-инфраструктуры «Яндекса» выросла в 3,5 раза

Общая стоимость серверов и сетевой инфраструктуры, которыми владеет «Яндекс», с 2013 по 2017 гг. выросла более чем в 3,5 раза: с 9,739 млрд рублей до 34,165 млрд рублей. Это следует из годовых отчетов «Яндекса» по форме 20-F[1]. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений, указано в отчетах.

Выросла и стоимость «инженерных систем» «Яндекса»: с 3,409 млрд рублей в 2013 году до 7,621 млрд рублей в 2017 году. В отчетах не уточняется, какие именно инфраструктурные системы имеются в виду. В «Яндексе» говорят, что здесь имеются в виду дата-центры компании.

В 2017 году «Яндекс» потратил на приобретение серверов и расширение дата-центров порядка 10 млрд рублей, что составило 81% от всех капитальных затрат компании. При этом и в 2017, и в 2016 гг. они в большой степени связаны с созданием нового дата-центра во Владимире, о запуске которого было объявлено в сентябре.

Расходы на серверы и сетевое оборудование исторически составляют основную часть капитальных затрат «Яндекса»

От года к году объем затрат на серверы и оборудование колеблется: так, например, в 2013 году их объем был 3,850 млрд рублей, а в 2015 году – около 11 млрд рублей.

«
Для оптимизации наших поисковых технологий, ожидаемого увеличения интернет-трафика, рекламных транзакций и новых сервисов, в 2018 году и далее мы продолжим инвестировать в наши дата-центры, технологии, корпоративные средства, ИТ-инфраструктуру, - отмечается в отчете «Яндекса» за 2017 год.
»

В отчете также говорится рисках в области инфраструктуры, с которыми сталкивается «Яндекс». Компания отмечает, что ее будущий успех зависит от непрерывной доступности, развития и поддержки интернет-инфраструктуры глобально и на рынках, где работает «Яндекс». Это включает поддержку надежной магистральной сети с нужной скоростью, пропускной способностью и безопасностью для предоставления надежных интернет-сервисов. Любое прерывание доступа к сети, обеспечиваемого третьими сторонами, или их неспособность поддержать текущие или увеличенные будущие объемы использования могут существенно навредит бизнесу «Яндекса». При этом компания уже испытывала и продолжает испытывать прерывания и задержки в этих сервисах время от времени.

Интернет-инфраструктура также может оказаться неспособна выдержать нагрузку со стороны растущего числа пользователей или времени, проводимого онлайн, или увеличенные требования пропускной способности. Государственное регулирование также может ограничить доступ компании к адекватной и надежной интернет-инфраструктуре, говорится в отчете «Яндекса» без уточнения подробностей.

2016: «Яндекс» сокращает ЦОДы в Москве

«Яндекс» планирует перенести часть вычислительных мощностей из своих дата-центров в Москве в новый ЦОД во Владимире, рассказал руководитель группы исследований и разработки департамента эксплуатации «Яндекса» Павел Мельников, выступая на мероприятии компании Mellanox в марте 2016 года.

В качестве причины этого он упомянул дороговизну содержания дата-центров в Москве, главным образом, из-за высокой стоимости электроэнергии.

«
Мы планируем сокращать московские дата-центры и мигрировать во Владимир, где будет наш следующий большой дата-центр. Москва – город с очень дорогим электричеством и сложностью найти его в достаточном количестве, - сказал Мельников.
»

В пресс-службе «Яндекса» предпочли не углубляться в детали миграции, отметив лишь, что «строительство новых площадок ЦОД в Москве сейчас невыгодно, и стоимость электричества здесь - лишь один из факторов». Поэтому «Яндекс» «оптимизирует» инфраструктуру ЦОД.

В компании добавили, что во Владимире сейчас идет этап возведения здания ЦОДа. Запустить этот дата-центр «Яндекс» рассчитывает в 2017 году.

По данным годового отчета «Яндекса» по форме 20-F[2], в 2015 году капитальные затраты компании составили 13,045 млн руб., из которых примерно 84% составили расходы на расширение инфраструктуры дата-центров и серверы, чтобы поддержать текущий рост деятельности компании.

2015

Строительство ЦОДа во Владимире

В 2015 году «Яндекс» начал реализацию проекта по строительству дата-центра в поселке Энергетик Владимирской области. Представители администрации региона сообщали о том, что объем инвестиций в проект составит порядка 4,5 млрд руб.

ЦОД строится на участке площадью 6 га. Его полная мощность составит около 40 МВт, а первая фаза ЦОДа будет рассчитана на 10 МВт. По планам компании, новый ЦОД начнет работу в конце 2017 года.

Открытие дата-центра в Финляндии

В 2015 году «Яндекс» завершил строительство первой очереди дата-центра в финском городе Мянтсяля. Участок под его строительство площадью 8 га «Яндекс» приобрел за 1,5 млн евро в 2013 году. Дата-центры «Яндекса», как правило, размещаются в уже готовых строениях — например, в корпусах бывших заводов. Стройку же в Мянтсяля компания вела с нуля.

План ЦОДа «Яндекса» в Финляндии

Система охлаждения, которая применяется в финском дата-центре, позволяет использовать тепло от серверов для отопления жилых домов. Поставляя городу тепло, «Яндекс» получил возможность возместить часть трат на электроэнергию — одну из самых крупных для дата-центра статей расходов, писала компания.[3]

В одном из блогов «Яндекса» говорится, что до начала проектирования финского дата-центра компания успела построить и частично закрыть 10 дата-центров. [4]

2013: План великой миграции серверов

«Яндекс» планирует строить новые высокоэффективные ЦОДы, в которые постепенно будут мигрировать мощности со старых площадок, рассказал TAdviser 19 марта 2013 г. Сергей Крупин, заместитель директора департамента строительства и инженерных систем интернет-компании. В них планируется внедрять передовые технологии, выбор которых будет опирается на опыт строительства и эксплуатации предыдущих ЦОДов, говорит он.

По словам Крупина, при строительстве новых площадок «Яндекс» будет ориентироваться на те регионы, в которых по климатическим параметрам сможет построить наиболее эффективную систему охлаждения ЦОДа.

В «Яндексе» рассказывают, что все последние ЦОДы компании построены с использованием тех или иных систем охлаждения с технологиями free cooling, включая и так называемые схемы Full free cooling, подразумевающие охлаждение серверных помещений за счет воздуха с улицы. Общая мощность таких ЦОДов компании превышает 15 МВт. Аналогичные технологии планируется применять и в будущих ЦОДах, куда мигрируют вычислительные ресурсы.

Технология Full free cooling, в частности, сейчас используется в ЦОДе «Яндекса» в подмосковном городе Ивантеевка, построенном в 2011 г., и в новом ЦОДе в Рязанской области, строительство которого завершилось в 2012 году.

В нем в качестве дополнительного охлаждающего оборудования применяется абсорбционно-холодильная машина, которая работает на природном газе. По словам представителей интернет-поисковика, она позволяет повысить эффективность использования энергоресурсов и снизить потребление электричества.

Сергей Крупнин отмечает, что внедрение любых энергосберегающих, инновационных или «зеленых» технологий предполагает высокие капитальные затраты, но позволяет существенно снизить эксплуатационные расходы. Поэтому определяющим фактором становится срок эксплуатации ЦОД. Если это долгосрочный проект (более 10 лет), то энергосберегающие технологии становятся окупаемыми.

Где именно будут располагаться новые площадки и каковы будут их параметры, в компании предпочли не раскрывать, отметив лишь, что по состоянию на март 2013 г. у «Яндекса» насчитывается шесть дата-центров, располагающихся как в России, так и за ее пределами. Часть серверов в своих ЦОДах компания на безвозмездной основе предоставляет Европейскому центру ядерных исследований (ЦЕРН).

Строительство новых площадок является одним из направлений развития ЦОДов «Яндекса», говорит директор департамента строительства и инженерных систем компании.

«
Перед нами стоит задача не только повышения энергоэффективности, но и общей эффективности – то есть стоимости владения ЦОДом. Масштабы новых площадок будут зависеть от множества факторов, в том числе - в зависимости от развития новых сервисов компании, а также возможностей серверных и инженерных технологий», - отмечает он.
»

По словам Сергея Крупнина, другими направлениями по развитию ЦОДов компании является оптимизация существующих решений и применение серверов и инженерных решений нестандартной конфигурации, а также разработка механизмов «обратной связи» между ИТ-оборудованием и системами охлаждения ЦОД.

2012: Строительство дата-центра в Рязанской области

В 2012 году «Яндекс» начал создание ЦОДа в г. Сасово Рязанской области. Проект предполагает строительство в четыре этапа. Полностью завершить его планируется к 2020 году. Общий объем инвестиций в строительство дата-центра составляет 2,7 млрд руб. [5]

2011: Строительство ЦОДа в Ивантеевке

По состоянию на 2011 год у «Яндекса» в России есть пять дата-центров, крупнейший из которых расположен подмосковном городе Ивантеевка. В сентябре 2011 года «Яндекс» сообщил о запуске второй очереди своего дата-центра в подмосковном городе Ивантеевка. Общая площадь двух его очередей составляет 4,5 тыс. кв. м, из которых 2,2 тыс. кв.м. приходится на вторую очередь.

Во второй очереди нового дата-центра используется система охлаждения российской разработки – Full Free Cooling (FFC). Она основана на технологии свободного охлаждения (free cooling), при которой помещение дата-центра охлаждается за счет более прохладного воздуха с улицы.

Разработчиком этой системы является московская компания Ayaks Engineering. Ее представитель Андрей Нестеров заявил CNews, что «Яндекс» стал их первым клиентом, использующим систему FFC в своем дата-центре.

Всего в ЦОДе будет размещено более 10 тыс. серверов, а общая потребляемая мощность составляет 8 МВт. В «Яндексе» уточнили, что показатель энергопотребления приведен с учетом новой системы охлаждения. «То электричество, которое мы экономим на охлаждении, мы можем пустить на более полезные вещи - на ИТ-мощности в том же дата-центре, например», - рассуждают в поисковике.

Согласно стандарту TIA-942 температура, которую необходимо выдерживать в серверных помещениях, составляет +22 градуса по Цельсию ± 2 градуса. В том или ином виде технологию free cooling используют во многих российских дата-центрах, однако главной особенностью своей системы в Ayaks Engineering называют температурный порог, при котором задействуется оборудование для охлаждения внешнего воздуха – он составляет +22 градуса. Т.е. система охлаждения включится только после того, как температура воздуха превысит это значение.

В стандартных холодильных установках с free cooling охлаждение включается при +5 - +12 градусах по Цельсию.

В «Яндексе» заявляют, что с использованием системы Ayaks Engineering новому дата-центру требуется в два раза меньше электроэнергии в год для поддержки того же количества серверов. Впрочем, некоторые эксперты считают, что в данном случае это сомнительное преимущество.

Евгений Громов, технический директор «Центра Хранения Данных», владеющего дата-центром SafeData, рассказал CNews, что их компания также рассматривала данную систему: «Ее плюс – в уменьшении затрат на электроснабжение, из минусов – в четыре раза большая цена по сравнению с классическими системами и более дорогое техническое обслуживание. При нынешних ценах на электроэнергию в России в коммерческом ЦОДе такая система не оправданна».

Система FFC представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОДа, в наружный контур подается уличный воздух. Основным элементом системы является роторный регенератор, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении ЦОДа. Задача роторного регенератора заключается в том, чтобы охладить воздух в дата-центре с +37 до +24 градусов наружным воздухом температурой до +22 градусов.

«
Экспериментировать с различными технологиями охлаждения мы начали в конце 2009 г. Основная задача заключалась в том, чтобы максимально увеличить температурный порог. В результате его удалось поднять с +13 до +22 градусов по Цельсию, — говорит Геннадий Вахутинский, директор по строительству инженерных систем «Яндекса». — От использования в новом дата-центре экономичной системы охлаждения выиграет не только компания, но и окружающая среда — меньше электроэнергии, значит меньше природных ресурсов для её выработки.
»

Из известных в России систем охлаждения схожий с FFC принцип работы на основе роторного теплообменника используется также, к примеру, в системе Kyoto Cooling, разработанной в Голландии.

Начало 2000-х: Первые дата-центры «Яндекса»

Когда в 1997 году был открыт сайт www.yandex.ru, для его работы достаточно было одного сервера под столом одного из первых разработчиков[6]. Вскоре после объявления об открытии появился второй сервер, а когда понадобилось установить ещё один, выяснилось, что места под столом не хватает.

До мысли о создании собственных дата-центров Яндексу в тот момент было ещё далеко — индекс русскоязычного интернета целиком умещался на одном SCSI-диске размером 4Гб, а вся команда портала составляла около десяти человек, работавших в компании CompTek. Поэтому серверное оборудование Яндекса в первые три года его работы было размещено в дата-центре компании «МТУ-Интел». К моменту создания ООО «Яндекс» в 2000 году Яндекс арендовал четыре стойки в «МТУ-Интеле», где размещалось около 40 собственных серверов Яндекса.

Эти несколько десятков серверов и стали основой первого самостоятельного дата-центра Яндекса, который расположился в первом офисе компании — в Москве, на улице Вавилова, в вычислительном центре Российской академии наук.

Примечания