В России - самая значительная. Это не только удобный поисковик, но и облачное хранилище данных, электронная почта, навигационные карты, служба заказа такси и многое другое. А где же хранится весь этот объем информации системы? Где находится сервер "Яндекса" физически? В этой статье мы попробуем это выяснить.
Что говорит "Яндекс"?
Печальный факт: представители самой корпорации не указывают на своих ресурсах, где находится сервер "Яндекса" физически. Широкому кругу аудитории известен только один факт - дата-центры в своем большинстве открыты в России. Некоторые из них - в столице.
Кроме того, даже подавляющее число сотрудников компании не знает, где конкретно находятся дата-центры "Яндекса". А уж попасть туда затруднительно не только постороннему человеку, но даже и работнику этой корпорации.
Где был первый сервер "Яндекса"
А вот своей историей сотрудники и представители компании охотно делятся. Где находился главный сервер "Яндекса" в 1997 году, когда был запущен сайт? Вы удивитесь, но он просто стоял под столом у одного из первых разработчиков - Д. Тейблюма. Вскоре после открытия сайта "Яндекс.ру" понадобилось установить второй сервер, а потом уже и третий. Тогда-то сотрудники "Яндекса" задумались о расширении.
Нет, дело не шло об открытии собственного дата-центра. В этом не было необходимости: команда "Яндекса" исчислялась всего десятью сотрудниками, а для умещения индекса всего русскоязычного интернета вполне хватало 4 Гб SCSI-диска. Отчего в первые три года работы ресурса серверы размещались в одной стойке дата-центра "МТУ-Интел".
В 2000-м, когда было создано ООО "Яндекс", оно арендовало уже четыре стойки у данной компании. Это 40 личных серверов. Они, кстати, и стали основой уже для собственного дата-центра, который был открыт в первом офисе ресурса, расположенном на ул. Вавилова в Москве (вычислительный центр РАН - Российской академии наук).
Сегодня эта "серверная" уже не функционирует. Современный "Яндекс" поддерживает масштабную сеть дата-центров, которые работают независимо от офисов. Именно они в настоящее время помогают пользователям ресурса 24 часа в сутки и 7 дней в неделю иметь высокоскоростной доступ к необходимой информации. Подумать только, сегодня департамент эксплуатации "Яндекса" устанавливает в день по 2-3 сервера в собственных дата-центрах! И этот показатель не окончательный - корпорация не думает останавливаться в своем развитии.
Какой он - дата-центр "Яндекса"?
Где находится сервер "Яндекс.диска", представители компании нам, увы, не расскажут. Зато они с радостью готовы поведать, как выглядит их стандартный дата-центр изнутри:
Как найти серверы компании
Если вы самолично хотите определить, где находится сервер "Яндекса", то для этих целей проще установить на свой компьютер соответствующее ПО. Пользователи советуют программы Traceroute, Neotrace. Мы же рекомендуем вам устанавливать подобное ПО только в случае, когда вы на 100 % уверены в его безопасности.
По словам опробовавших приложения, данные программы представляют исчерпывающую информацию о физическом местонахождении серверов "Гугла", Yahoo, "Яндекса". Пользователю доступна карта, информация о координатах объекта (долгота, широта), его адрес.
Где именно в России находятся серверы "Яндекса"
В заключение представим информацию от пользователей, самостоятельно выяснивших местонахождение серверов системы. Однако данные эти неофициальны, поэтому доверять им на 100 % не имеет смысла.
Итак, где находится сервер "Яндекса"? Все найденные дата-центры расположены в Москве:
- Ул. Вавилова, 40а.
- Ул. Краснознаменная, 2.
- Ул. Краснознаменная, 12.
- Ул. Курчатова, 1.
- Ул. Нежданова, 2а.
Некоторые исследователи утверждают, что серверы находятся в столице также на ул. Льва Толстова и на ул. Самокатной, а также в городе Ивантеевка.
Где точно находятся серверы "Яндекса", широкой общественности доподлинно не известно. Представители компании утверждают, что большинство их дата-центров сосредоточены на территории Российской Федерации. Пользователи же предлагают программы, которые способны определить точное (до адреса) расположение серверов того или иного ресурса, и даже делятся результатами своих исследований в Сети.
Офис Яндекса в Москве — это штаб-квартира компании. Именно здесь создается большинство продуктов Яндекс, именно здесь компания создала точку коммуникации с внешним миром. Разработчики, менеджеры, дизайнеры, маркетологи, аналитики и другие специалисты расположились в огромном офисе, занимающем почти целый квартал между улицами Льва Николаевича Толстого и Тимура Михайловича Фрунзе. На секундочку, общая площадь всех зданий штаб-квартиры — более 50 000 квадратных метров.
А ведь когда-то (в 2001 году) Яндекс обходился небольшим офисом в одном из корпусов Вычислительного центра РАН на улице Вавилова. Постепенно Яндекс превратился в транснациональную компанию, провел первичное размещение акций и транзитом через здание ткацкой фабрики на Самокатной улице переехал в офис на Льва Толстого.
Заходя туда, вы первым делом попадает на главный ресепшн. Рядом можете наблюдать терминал, репрезентирующий одну из служб компании — Яндекс.Такси. Подобных служб у компании более 50. Например, всем известные Яндекс.Поиск, Яндекс.Карты, Яндекс.Пробки, Яндекс.Деньги, Яндекс.Маркет.
На ресепшене вы получаете специальный бейдж Я.Гость или Я.Гостья — они дают вам возможность передвигаться по святая святых лучшей IT-компании России.
Главная особенность офиса Яндекс — это атмосфера уюта. Здесь практически нет острых углов, цвета позитивные, но не мозолят глаза. Домашняя обстановка нужна не только для красоты. Дело в том, что офис Яндекс работает круглосуточно, некоторые разработчики вообще приходят сюда вечером. Поэтому не будет преувеличением сказать, что для работников компании офис является вторым домом. А для кого-то и первым.
Запутаться в офисе Яндекс простительно только в первый раз. В последующие посещения уже кажется все достаточно простым, навигация по зданию здесь устроена интересным образом. Крупные отделы могут занимать целые этажи — например, команды Поиска, Карт и Почты, коммерческий департамент и офис Яндекс.Денег. Иногда можно сразу понять, что за сервис делают в комнате или на этаже. Например, у Пробок есть собственный светофор и студия с дорожной разметкой на полу, а у Расписаний — коллекция дорожных атласов и доска, где записывают смешные названия станций и остановок. На территории Карт по стенам развешаны самые разные карты, в том числе несколько схем Москвы разных лет.
Чтобы все сотрудники могли обсуждать дела, не мешая друг другу, в офисе несколько десятков переговорок — от маленьких комнат на четверых до конференц-залов. В них проводятся конференции, семинары и лекции Яндекса. По названию переговорки можно понять, где примерно она находится. Вот, например, карта 7 этажа. Здесь названия переговорных комнат начинаются с семерки: 7.Гномов, 7Небо, 7.Холмов и так далее. Некоторые этажи имеют собственный цвет, и переговорки названы соответствующе: например, "Оранжевый верблюд" и "Зелёный горошек".
В офисе очень много зелени. За состоянием флоры в компании отвечают специальные люди, придумавшие хитрую систему орошения. К растениям здесь относятся предельно бережно, буквально протирают каждый лепесток. Благодаря такому подходу весь офис наполнен зелеными инсталляциями, что, конечно, создает дополнительный комфорт для сотрудников.
А это один из балконов офиса. Летом многие сотрудники работают прямо здесь, подключаясь к офисному wi-fi. Благо, никто к своему рабочему месту не привязан — работать можно в любой точке офиса.
На балконе установлен специальный бинокль, благодаря которому можно любоваться Москвой. Но и так видок отличный.
Офис полнится различными комнатами отдыха, где можно перекусить и попить кофейку.
Уже достаточно давно все кофе-машины в офисе брендированы и напоминают нам, в какой компании мы находимся. К слову, о питании. На первом этаже офисного здания находится столовая. Каждый сотрудник имеет лимитированную сумму денег, предназначенную для посещения этой столовой. Теоретически, если он выйдет за пределы этой суммы, то будет доплачивать за завтраки, обеды и ужины сам. Но выйти за пределы этого лимита сложно. Нужно кушать как Таррар.
Что по меню? Позавтракать можно омлетом, кашей, варениками или запеканкой, пообедать или поужинать — блюдами разных стран мира: в меню можно найти и борщи, и роллы. Каждый найдет себе блюдо согласно собственным гастрономическим пристрастиям. Впрочем, есть можно не только в столовой. Фиксированную сумму на питание можно тратить и ближайших от офиса кафешках. Всё продумано.
Вот так выглядит внутренний двор офиса. Многие думают, что в Яндекс очень сложно попасть. На самом деле, у компании всегда много вакансий, и толковому спецу устроиться сюда достаточно просто. Помимо разработчиков со знанием C , Python и JavaScript, компании бывают нужны специалисты по big data, распознаванию речи или изображений, а также менеджеры проектов. Объявления о найме можно найти на корпоративном сайте и рекрутинговых порталах. Также Яндекс открыл собственные школы менеджеров и анализа данных. Их выпускники имеют отличный шанс попасть на стажировку в компанию.
Каждый кандидат на работу в Яндексе для начала проходит тестовое задание. Если результаты устраивают компанию, то претендент приглашается на серию собеседований. Если и этот этап проходит успешно, то новичка начинают адаптировать к компании. Для этого в компании есть отдельные сотрудники. Процесс адаптации начинается еще до выхода на работу. Новичку готовят ноутбук, назначают удобный день для начала работы. Если в других компаниях новые сотрудники чаще всего начинают работать с понедельника, то в Яндексе от этого, наоборот, отказываются. Дело в том, что по понедельникам проходят все главные совещания, и поэтому будет хорошо, если новичок будет на них уже полноценно присутствовать, а не получать ноутбук с бейджиком и знакомиться с людьми.
Иногда новому человеку назначают наставника, который помогает адаптироваться в компании и объясняет внутренние правила. В первые месяцы работы специалисты по адаптации приглашают сотрудника и выясняют, как у него дела. Они также общаются с его начальником, чтобы понять, совпадает ли его видение работы с мнением подчиненного. Проблемы с адаптацией возникают редко, атмосфера здесь почти семейная. А пуфики на каждом шагу помогают расслабиться в наиболее напряженные моменты. Опять же, работать можно прямо здесь, за мягкими столиками. Главное, чтобы был результат.
Про интерьер, я думаю, вы все уже поняли. Максимально демократично и удобно для людей. Стены в опенспейсах покрыты виниловыми обоями, чтобы на них можно было рисовать, писать, креативить. Стены в офисе вообще можно оформлять как хочется. Так же обстоят дела с баннерами и растяжками.
В офисе много досуговых комнат и большая коллекция настолок на любой вкус.
Есть собственная библиотека. Но библиотекаря нет. Нужно приложить рабочий бейдж, и взять понравившуюся книгу.
А вот так выглядят собственно опенспейсы. При всей универсальности дизайна рабочее место можно оформить под себя, работники могут заказать себе лампу, шкаф или полку, а также выбрать комнатное растение, посоветовавшись с корпоративным флористом. У некоторых есть животные — тритоны, мышки, черепахи, даже змея.
Еще раз зацените интерьер офиса.
Уж кому-кому, а любителям природы в Яндексе точно понравится.
Основное средство общения в компании — почта. В Яндексе много внутренних рассылок про работу, хобби, увлечения и новости команд. Есть внутренний сервис блогов, где сотрудники пишут про жизнь и работу.
В Яндексе очень много тренингов, семинаров, курсов и кружков. Сотрудники могут изучать иностранные языки, как для работы, так и просто для себя. Достаточно собрать группу желающих, и компания поможет с поиском преподавателя французского, английского, иврита или турецкого.
В офисе есть кружки игры на арфе, гитаре и других инструментах. Для этого есть специальная музыкальная комната на чердаке. Есть также столы для снукера.
Спорту в компании вообще уделяется большое внимание. Тренажерный зал, массажный салон, а также зал для йоги и танцев — есть всё, чтобы держать себя в форме. Летом многие сотрудники Яндекса пересаживаются на велосипеды, и таким образом добираются до работы. Возле офиса велопарковка на 300 мест.
Вот еще один балкон. Гамак — для отдыха, шахматы — для интеллектуальных развлечений.
Впечатления от увиденного очень крутые. Корпоративная культура в Яндексе — на 10 баллов. Продумана каждая мелочь. Радует, что и в нашей стране есть компании, в которых реализован европейский подход к организации труда. Яндекс в этом смысле очень хороший пример для подражания.
-----------------
Данный журнал является личным дневником, содержащим частные мнения автора. В соответствии со статьёй 29 Конституции РФ, каждый человек может иметь собственную точку зрения относительно его текстового, графического, аудио и видео наполнения, равно как и высказывать её в любом формате. Журнал не имеет лицензии Министерства культуры и массовых коммуникаций РФ и не является СМИ, а, следовательно, автор не гарантирует предоставления достоверной, непредвзятой и осмысленной информации. Сведения, содержащиеся в этом дневнике, а так же комментарии автора этого дневника в других дневниках, не имеют никакого юридического смысла и не могут быть использованы в процессе судебного разбирательства. Автор журнала не несёт ответственности за содержание комментариев к его записям.
Основной офис в Москве занимает 7-этажное здание, которое в настоящее время еще достраивается. Здание представляет собой практически замкнутый периметр с внутренним двориком. Поэтому вопрос навигации для сотен людей работающих в нем совершенно не лишний. Ориентироваться помогают расписанные балки, где указаны какие помещения в какой стороне находятся. В ход идут даже подвесные потолки, в торце которых также нанесены навигационные надписи. К слову, сказать, отличная идея - такие надписи всегда хорошо видны и ведут к часто используемым и востребованным локациям офиса - лифтам, кафе и так далее.
На каждом этаже есть туалет, кофейная комната, где можно совершенно бесплатно налить себе чая или кофе, съесть фрукты или овощи и печенье. Также есть два типа помещений: переговорные комнаты (их в офисе несколько десятков разных размеров от крохотных помещений с одним столом на 3-4 человек до конференц-залов) и комнаты open space для команд разработчиков (как правило, команда, работающая над одним проектом сидит рядом друг с другом).
Все помещения имеют свои названия, которые привязаны к номеру этажа. На 7 этаже есть "7 нянек" (дитя без глаза там не замечено, кстати), 7.40, 7 небо и большой конференц-зал с названием "7 одного не ждут". На 5 этаже есть "5 точка", "5 колонна", "5 колесо" и просто "5. отлично". На 4 этаже есть комната с милым названием The Beatles и там действительно не поместится больше 4 человек.
Балконы Яндекса
В офисе шесть балконов, которые активно используются в летнее время. Там можно как отдыхать, так и работать. Есть шатры, скамейки и столики с пепельницами для курящих. На одном из балконов есть огромные шахматы. И виды, разумеется, оттуда дивные, поскольку офис находится в таком месте, откуда видны Храм Христа Спасителя, новый памятник Петру (действительно уродливое творение Церетели) и даже кусочек Кремля. А еще из окон лестничных пролетов и балконов видны внутренние стены самого здания (вы еще помните, что оно построено в виде периметра?) Часть здания еще достраивается и ждет расширения команды Яндекса.
Таблички в офисе Яндекса
По всему офису Яндекса можно встретить самые различные таблички. Например, вот эта - серьезная, напоминает об информационной безопасности и необходимости закрывать за собой двери. Кстати, магнитная карта-пропуск нужна не только для входа в здание, но и для перемещения по нему. Даже для того, чтобы открыть дверь на балконе и попасть внутрь здания, может понадобится ключ-карта.
А эта табличка с рецептом простейшей монетизации стоит у комнаты, где сидят разработчики стартовой страницы Яндекса. Они довольно эксцентричные и приветствуют таких посетителей как мы жестами и яркими фонариками. Правда, предпочитают это делать находясь за стеклом своего помещения.
Внутри офиса есть фирменный магазин и кафе студии Лебедева. На его входной двери можно тоже увидеть необычную табличку.
А это еще одна фирменная черта Яндекса - в силу сложившейся традиции, в компании есть официальная должность, именуемая хозяюшкой. В обязанности хозяюшек входит подкармливание творческих людей (дизайнеров, программистов), которые вполне могут засиживаться в офисе допоздна (офис работает круглосуточно) и могут забывать поесть. На деле, конечно же, хозяшки отвечают за то, чтобы в комнатах-кофейнях всегда пополнялись запасы продуктов.
Табличка-рисунок на пожарном щите. Зачем кролика упрятали в клетку непонятно.
Стены комнат в офисе стеклянные. Хотя сейчас они имеют рисунок, закрывающий помещение на уровне человеческого роста. Говорят, раньше, когда рисунка не было, посетители слишком уж частно сталкивались со стеклянными стенами. Эта табличка, видимо, осталось еще с тех времен.
Библиотека Яндекса
Библиотека Яндекса находится в помещении с названием "7 гномов", которое, как легко догадаться, расположено на 7 этаже. Каждый сотрудник может взять любую книгу оттуда, для этого нужно зарегистрировать операцию в специальном приложении на сенсорном мониторе. В шкафу с дверцей из зеленого стекла находятся личные книги яндексоидов (так себя сами называют сотрудники компании), которыми они обмениваются для чтения друг с другом.
А это раритет - приложение с поиском по библии, созданное основателями Яндекса еще на заре интернета и самого Яндекса. Распространялось оно на дискетах.
Шляпы
В кабинете финдиректора Яндекс.Денег можно встретить целую коллекцию шляп со всего мира. Точнее вся коллекция тут даже не поместилась. Каждую шляпу можно примерить - это не музейные экспонаты, которые запрещено трогать.
Даже люстра в этой комнате изготовлена в виде шляпы.
Хотя мне больше всего понравилась неказистого вида строительная каска. Полагаю, понятно почему - из-за ее защитных способностей.
Помимо рецепшена на входе, отдельный рецепшен есть на 7 этаже. Видимо, потому что на этом этаже чаще всего бывают посетители. Неудивительно - ведь здесь находится маркетинг, пиар (гостями которого мы были) и руководство компании.
Рядом с рецепшеном находятся фирменные зонтики Яндекса. Тот сегмент, что с текстом непропорционально вытянут по отношению к другим сегментам зонта.
На каждом этаже есть сенсорный экран, где можно посмотреть занятость комнат для переговоров и забронировать одну из них. Конечно, все это можно сделать с рабочего компьютера, но можно и здесь, если решение провести встречу застало сотрудника в коридоре.
А это, как нам объяснили, символ бага разработки - этому тотему просто должны поклоняться все программисты.
Еще одна забавная мягкая игрушка. Просто для красоты, видимо.
На одном из этажей размещен... гамак. Для любителей нетрадиционной релаксации.
Еще одна конструкция, которую в обязательном порядке показывают гостям Яндекса. Особенно тем, кто интересуется поисковым алгоритмом Яндекса и методами его управления. Так родилась байка, что поиском Яндекса можно управлять, подкрутив тот или иной вентиль. Так что если вы попадете на gg по поиску из Яндекса - знайте: это я подкрутил поисковый механизм.
Всякие подарки и дипломы, подаренные Яндексу.
Еще один подарок: телескоп. В него можно увидеть, например, Собор Василия Блаженного, стоящий у Кремля.
А это парковка под входом в офис. Здесь огромное количество мотоциклов (в том числе дорогих) и велосипедов. Все они, разумеется, принадлежат сотрудникам Яндекса.
Есть в офисе Яндекса и свой спортзал. Где можно поиграть в настольный тенис, бильярд и потягать железо.
Неотъемлемая часть каждой кофейной комнаты Яндекса - Яндекс.Кофеварка.
P.S. Совсем скоро вас ждет еще один материал о Яндексе. Оставайтесь на связи.
Яндекс располагает несколькими собственными дата-центрами. Большинство из них находятся в России, самый крупный – в городе Сасово (Рязанская обл). Компания пользуется и услугами ряда ЦОД за рубежом, однако они не находятся в ее собственности. Исключение - дата-центр в Финляндии, который Яндекс спроектировал и построил с нуля. Финляндия была выбрана из-за холодного климата, доступности оптических линий и наличия надежных энергетических мощностей. Дата-центр расположился в Мянтсяля - городе с населением 20 тысяч человек, находящемся неподалёку от Хельсинки.
ЦОД начал работу в прошлом году, но возведен еще не полностью. Алексей Жумыкин, руководитель отдела эксплуатации дата-центров Яндекса, рассказал Телекомблогу, что в целом проект п редполагает четыре очереди (каждая - 10 МВт полезной мощности). Пока построена и введена в эксплуатацию первая очередь. Количество стоек в дата-центре компания не раскрывает.
План дата-центра Яндекса в Мянтсяля
"Но обычно в ЦОД такого масштаба работают десятки тысяч серверов", - говорит Алексей Жумыкин.
Как правило в дата-центрах для охлаждения используются чиллеры - машины промышленного кондиционирования, в которых в качестве охлаждающего агента действуют жидкости или газы. Однако в финском ЦОД Яндекса сервера круглый год охлаждаются естественным способом - воздухом с улицы. В жаркие дни, которых не так много, в воздух добавляется распылённая влага, которая снижает температуру. Воздух, проходя через серверную зону, нагревается и с помощью вентиляторов нагнетается в огромные камеры - теплообменники, куда подаётся вода из городской сети Мянтсяля.
"Одним из важнейших компонентов дата-центра является система охлаждения, - рассказывают в Яндексе. - В ходе работы серверы выделяют много тепла, которое необходимо отводить во избежание перегрева. Система охлаждения, которая применяется в нашем дата-центре в Мянтсяля, позволяет использовать тепло от серверов в полезных целях - для отопления жилых домов. Поставляя городу тепло, Яндекс получает возможность возместить часть трат на электроэнергию - одну из самых крупных для дата-центра статей расходов".
Температура воды на выходе из теплообменника составляет, в зависимости от сезона, 30-45 градусов. Этого недостаточно, чтобы подавать воду напрямую в краны и батареи - поэтому по договорённости с администрацией Мянтсяля на территории дата-центра построили станцию донагрева. В ней вода с помощью тепловых насосов доводится до стандартной температуры и оттуда уже поступает в городскую сеть.
Население Мянтсяля составляет чуть более 20 тысяч человек; около половины горожан живут в домах с центральным теплоснабжением. Изначально для отопления новых районов город собирался построить котельную, но подсчёты показали, что использовать тёплую воду из дата-центра и доводить её до стандартной температуры на станции донагрева дешевле.
Коммунальные службы Мянтсяля рассчитали, что благодаря «серверному» теплоснабжению в 2016 году стоимость отопления для жителей Мянтсяля сократится на 5%, потребление газа для обслуживания городской сети - вдвое, а выбросы CO2 (параметр, которому в европейских странах уделяют особое внимание) - до 40%.
Яндекс, поставляя городу тепло, рассчитывает снизить свои расходы на электроэнергию до 30%.
Аналогичный проект может заработать и в России.
"Мы продолжаем совершенствовать систему охлаждения серверов уличным воздухом. Она может использоваться не только в странах с холодным климатом, но и в более тёплых регионах. Яндекс рассчитывает задействовать систему в дата-центре, который мы начали строить во Владимирской области. Тепло, выделяемое серверами, можно применять для обогрева не только жилых и общественных зданий, но и промышленных предприятий или, например, теплиц и парников", - говорится в блоге компании.
Алексей Жумыкин рассказывает, что дата-центр в Мянтсяля используется д ля задач, связанных с обработкой поисковых запросов, в том числе от пользователей сервисов Яндекса не из России (Турция, Украина, Европа). Кроме того, мощности дата-центра будет использовать подразделение Яндекса, занимающееся обработкой больших данных и машинным обучением - Yandex Data Factory .
По словам Алексея Жумыкина, Яндекс п ланирует перенести основную нагрузку по обработке данных с арендуемых зарубежных ЦОД на дата-центр в Финляндии.
Инвестиции в строительство дата-центра в Мянтсяля компания не раскрывает.
Напомним, что ранее своей дата-центр, в котором охлаждение серверов также происходит с помощью холодного уличного воздуха, запустила соцсеть Facebook. Ее дата-центр находится не так далеко от финского ЦОД Яндекса - в городе Лулео в Швеции. Лулео расположен всего в 60 км. от северного полярного круга.
Этой весной мы получили разрешение на эксплуатацию нашего нового дата-центра. Первого, для которого всё, даже здание, команда Яндекса спроектировала и построила с нуля. За те 18 лет, которые люди ищут в интернете Яндексом, мы прошли большой путь от сервера под столом одного из наших разработчиков до постройки дата-центра, где используем оборудование собственной разработки. По дороге у нас появилось несколько дата-центров в России, в которые мы перестроили прекратившие когда-то свою работу заводы и цеха.
Когда мы выбирали место, где можно строить дата-центр с нуля, холодный климат был одним из важнейших факторов. Но именно в процессе этой стройки мы нашли технологическое решение, которое позволяет нам эксплуатировать ДЦ в более теплом климате. Сейчас мы планируем построить наш следующий дата-центр во Владимирской области. И теперь у нас есть все возможности создать в России дата-центр, который станет одним из самых передовых в мире.
В этом посте мы хотим рассказать, как мы проектировали ДЦ, с какими сложностями столкнулась наша команда в процессе строительства, как проходила пуско-наладка, в чем особенности дата-центров Яндекса и как устроена рекуперация тепла, о которой вы уже могли слышать.
Необходимость
Как мы , архитектура сервисов компании позволяет организовывать резервирование на уровне дата-центров, а не подсистем, что дает бóльшую гибкость при выборе решений и позволяет снизить избыточность систем и соответствующие затраты.Дата-центр и серверная архитектура проектируются как единая система, поэтому параметры функционирования инженерных систем могут отличаться от общепринятых - можно, в частности, использовать альтернативные источники бесперебойного питания и отказаться от громоздких технических решений по охлаждению за счет расширения допустимого температурного диапазона. Все это ведет к повышению эффективности и понижению совокупной стоимости владения инфраструктурой.
Одна из метрик эффективности работы дата-центра - PUE . Впрочем, говоря о наших ДЦ, мы не собираемся ставить ее во главу угла. Во-первых, нам незачем меряться PUE с коллегами, а во-вторых, существующие разногласия в методике измерения этого параметра не позволяют проводить сравнение даже между нашими собственными ДЦ.
Однако сама сущность параметра PUE исключительно важна для Яндекса. Коммерческие дата-центры могут позволить себе не скупиться на строительство и оснащение, понимая, что в конечном итоге за все заплатит клиент. В нашем случае мы являемся сами себе клиентом, поэтому низкая совокупная стоимость владения ДЦ (ТСО), пожалуй, самый важный критерий при выборе решений в компании.
И конечно же, нашей команде хочется не только увеличивать площади под установку новых стоек, но и чувствовать профессиональную гордость за то, что мы делаем.
Идея
До начала проектирования финского дата-центра мы успели построить (и частично закрыть) 10 дата-центров. При строительстве очередного ДЦ мы каждый раз старались использовать наиболее интересные решения, которые появлялись на рынке в тот момент. Это привело к большому разнообразию реализаций, зато теперь позволяет нам выбирать наилучшие решения не на основании рекламных каталогов, а используя накопленный в компании опыт и результаты собственных экспериментов.Основная идея, лежащая в проекте финского ДЦ, проста: это применение прямого фрикулинга 100% времени. Прямой фрикулинг (охлаждение серверов наружным воздухом) дает возможность отказаться от использования не только теплообменников с охлажденной водой или другим подходящим теплоносителем, но и от более простых устройств, наподобие колеса Киото , которое стоит в одном из наших ДЦ. В новом дата-центре мы берем воздух с улицы, прогоняем его через серверы и выпускаем на улицу, попутно отбирая часть для смешивания в холодное время года. Наше серверное оборудование сегодня спокойно работает не только в диапазоне 20–24 градуса, который совсем недавно был тем самым разрешенным «окном ASHRAE», но и при более высоких и низких температурах. Поэтому незачем устанавливать капризные и дорогие системы охлаждения, можно просто выбрать регион, в котором среднегодовая температура пониже, а в самые жаркие дни распылять воду, чтобы добавлением влаги снизить на несколько градусов температуру входного воздуха - это называется адиабатическим охлаждением.
Камера адиабатики и каплеуловители за ней
Те из вас, кто изучал конструкцию ДЦ Facebook, которая неоднократно публиковалась в интернете, найдут много аналогий. Но надо сразу оговорить, что это только совпадение. Когда концепт нашего ДЦ был уже готов, нам довелось съездить в гости в один из ДЦ социальной сети, и мы с удивлением узнали, что коллеги только что реализовали проект, практически идентичный нашему.
Конечно же, специфика Орегона и Финляндии повлияла на различия, но принцип обдува воздухом с улицы настолько прост и очевиден, что в сходстве концепций нет ничего удивительного. С другой стороны, мы с удовольствием отметили, что кое в чем наш проект будет даже интереснее.
Дизель-генераторы и динамические ИБП
Например, менее сложная система адиабатического охлаждения и использование динамических роторных ИБП (ДРИБП) вместо сочетания дизелей и классических батарейных ИБП.
Как видно из иллюстрации, холодный воздух попадает с улицы (с правой стороны картинки) в камеры смешения, откуда после фильтрации нагнетается вентиляторными стенами через модуль увлажнения вниз, в холодные коридоры.
Первый ряд фильтров
Второй ряд фильтров и приточные вентиляторы
Из горячих коридоров воздух попадает в пространство второго этажа, играющего роль своеобразного буфера, откуда часть направляется в камеры смешения.
Камера смешения внешнего и отработанного воздуха для достижения оптимальной температуры
Не используемый в смешении горячий воздух вытяжными вентиляторами выводится с другой стороны здания.
Внутри «горячего коридора»
Решение действительно очень простое, однако оно подразумевает использование оборудования, которое умеет работать при соответствующей температуре и влажности, что трудно достижимо для коммерческих дата-центров.
Серверы в работе
Как показал первый опыт эксплуатации, у нас есть еще значительный потенциал для улучшений. Мы поняли, что можно упростить конструктив здания, полностью отказаться от использования воды в ДЦ и, наконец, расширить географию строительства вплоть до центральных регионов России. Благодаря этому мы сможем построить наш следующий дата-центр во Владимирской области, климат которой значительно теплее финского.
Почему Финляндия?
Этот вопрос является вторым по популярности, на который нам приходится отвечать. Ответ же настолько прост, что рассказывать о нем даже немного неловко.Дело в том, что неофициальным талисманом Яндекса является лось («Наш лось!»). Во всем мире есть две страны, в которых ценят и лелеют этих животных, - Швеция и Финляндия. Но так как в Швеции уже построился Facebook, нам оставались наши северные соседи. Из всей страны мы выбрали город, на гербе которого был лось. Так жребий был брошен, и мы решили строиться в Мянтсяля.
Однако одного лося все же недостаточно. Важнейшими критериями, по которым производился отбор на тот момент, были доступная электрическая мощность (высокостабильная энергосеть Финляндии построена много лет назад для ЦБК, которые чувствительны к качеству питающего напряжения), хорошая доступность оптических линий, жаждущие работы инженеры и, конечно же, холодный северный климат, в условиях которого можно было отказаться от чиллеров и честно использовать любимый фрикулинг.
Нельзя не отметить, что работа с местными партнерами оказалась истинным удовольствием. Так, разрешение на строительство получается в течение одного месяца (sic!), а дорога, линии водо- и теплоснабжения и электропередач возникают на границах участка в невероятно короткие сроки.
Кроме того, мы реализовали с местными властями, так сказать для души, проект по рекуперации тепла. Установив теплообменники в месте выброса отработанного горячего воздуха, мы нагреваем теплоноситель и передаем его в городскую систему теплоснабжения. Для муниципалитета доводить подогретую таким образом воду тепловыми насосами до необходимой температуры оказалось дешевле, чем строить дополнительную котельную для новых районов города.
Собственно теплообменники
Это решение мы представили в марте на выставке CeBit (в этом году объединенной с Datacenter Dynamics), и оно привлекло к себе огромное внимание - тематика энергоэффективных технологий сегодня очень актуальна. 27 мая Мянтсяля получила приз Best Heat Pump City in Europe.
Проектирование
Если не касаться содержания документации, то уже в процессе проектирования мы столкнулись с некоторыми интересными особенностями работы в Финляндии.Там нет такой жесткой формализации оформления и состава документов, к которой мы привыкли. Говоря совсем просто, детализация документации должна быть ровно такой, чтобы исполнитель смог получить всю необходимую информацию. В какой-то мере облегчило общение с разрешительными органами, которые выражали свое одобрение, основываясь на том, как они поняли документ, не уделяя внимания полноте и оформлению.
Под крышей, где происходит забор воздуха
Некоторые из представителей властей вообще не стремились выразить свое личное мнение о проекте. Пожарный инспектор, например, был удовлетворен, если на представленном пакете документации стояла виза сертифицированной компании-консультанта. Такая подпись для него значила, что проект уже проверен и соответствует всем местным нормативам.
С другой стороны, большинство мелких подрядчиков отказывались даже оценивать стоимость работ, если в чертежах не было прописано все до последнего винтика. Такой подход озадачил не только нас, но и наших партнеров из других стран. В результате очень многие чертежи содержат куда больше информации, чем мы ожидали бы увидеть.
При реализации проекта мы пользовались трехмерной моделью здания, в которой было расставлено все оборудование, проведены кабельные трассы и т. д. На привыкание к этому инструменту потребовалось какое-то время, зато потом работать с моделью оказалось очень удобно - удавалось быстрее решать некоторые проблемы при сведении систем, которые были не сразу очевидны в двухмерном представлении.
Также наши коллеги научили нас пользоваться онлайн-системой сбора комментариев по проекту, так что можно было быть уверенным, что замечания не потеряются и будут регулярно просматриваться на проектных встречах.
Строительство
О необычайных приключениях русских заказчиков в Финляндии можно было бы написать отдельную большую статью. Но главный вывод прост: успех подобных проектов определяется умением преодолевать различия в менталитете и культуре участников. И самая большая ответственность лежит на нас в момент выбора партнера, который сможет эти различия примирить. Примеров можно привести очень много. Самые забавные, пожалуй, следующие.
Начало строительства
Финская стройка работает с семи утра до трех-четырех дня. Представьте наше недоумение, когда российская команда, возвращаясь с обеда, видит дружную толпу строителей, уже закончивших на сегодня трудовую вахту. Оставшиеся полдня мы наблюдаем почти пустынную стройплощадку, и на этом фоне несколько странно выглядят заявления финских партнеров, сетующих на то, что они никак не успевают уложиться в сроки, хотя и очень стараются.
Возведение стальных конструкций
На уровне рядового рабочего финское качество строительства не слишком сильно отличается от привычного нам. Существенное приращение качества происходит при добавлении нескольких уровней профессиональных бригадиров, контролеров и руководителей. И хотя цена «менеджерской составляющей» приводит в шок, результат получается очень хороший.
И конечно, нельзя не упомянуть легендарный финский июль, когда вся страна бросает работу и начинает отдыхать. В некоторые компании бессмысленно даже звонить - в офисе нет ни единой души. Так как мы привыкли считать эти редкие погожие дни идеальным временем для завершения многих строительных работ, такое отношение со стороны подрядчиков для нас выглядело как откровенный саботаж.
Каркас готов
Но самым главным уроком этого строительства стало осознание того, что проекты такого масштаба требуют совершенно особого подхода. То, как ты организуешь стройку, оказывает несоизмеримо больший эффект на результат проекта, чем то, что ты строишь. Мы увидели, что в другой стране люди работают иначе. Это не значит, что они что-то делают плохо, - просто по-другому. Кажется, нам удалось понять друг друга, и главное, что мы вместе получили отличный результат.
Пусконаладка
Пожалуй, основное, что отличает этот проект от всех предыдущих, - понимание с самого начала важности полноценной пусконаладки (ПНР). Для качественной сдачи объекта, а следовательно, для минимизации проблем во время эксплуатации мы еще в период проектирования держали в голове целую фазу проекта под названием Commissioning. Скрепя сердце мы отдали Commissioning два месяца, зная, что на эти два месяца будет отложен ввод в эксплуатацию уже готового ДЦ, и одновременно понимая, что в дальнейшем это окупится сторицей. И в самом деле, в процессе пусконаладки было найдено некоторое количество недостатков. Ничего серьезного, но дополнительные хлопоты службе эксплуатации они бы принесли.Не только российский, но и мировой опыт показывает, что пусконаладка ДЦ - все еще непривычное явление. В лучшем случае разрозненные поставщики приносят программы индивидуальных испытаний, а затем группа эксплуатации совместно с генеральным подрядчиком прогоняет пять-шесть самых критичных ситуаций, как правило связанных с запуском дизелей и переключением вводов.
Полноценное описание процесса заслуживает отдельного рассказа, поэтому здесь только упомянем, что мы запланировали и провели все пять ступеней ПНР с тщательным документированием результатов.
Пусконаладку выполняла специально обученная команда. Формально они были сотрудниками генерального подрядчика, однако фактически действовали независимо, оценивая качество работ, в том числе и своих коллег. Огромное участие в пусконаладке принимала и уже сформированная к тому времени служба эксплуатации. Естественно, и представители московского офиса пристально следили за результатами испытаний.
Такой подход был сравнительно новым для нас. Мы по достоинству оценили его возможности и теперь даже не представляем, как без него запускаться.
Эксплуатация
Интересно, что набор и подготовку службы эксплуатации мы начали задолго до монтажа инженерных систем. Это позволило нам потратить больше времени на поиск действительно хороших специалистов, частично привлечь их даже на период проектирования: к сожалению, это привело к изменению проекта в самый последний момент, но зато уменьшило оторванность проекта от потребностей живых людей, которые проведут в этом ДЦ не один год. На некоторых этапах пусконаладки служба эксплуатации выполняла тестирование своими силами под наблюдением ответственной стороны.
Вход в офисную часть
В Финляндии большое внимание уделяется вопросам сертификации специалистов - некоторые виды работ выполнять без подтвержденной квалификации просто незаконно. Второй серьезный момент - это соблюдение норм охраны труда и экологии. Поэтому в нашей команде соответствующий специалист появился вторым по счету, и мы могли быть уверены, что не нарушим жесткие нормы законодательства даже случайно. Также значительный временной лаг позволил нам провести все требуемое обучение и сертификацию еще до начала эксплуатации, то есть вообще «без отрыва от производства».
Обратная сторона здания дата-центра
В целом хочется отметить большую заинтересованность будущих дежурных в своей работе. Мы уверены в команде, которую набрали, несмотря на то что дата-центр, тем более такого уровня, большинство ребят увидели в первый раз.
Нельзя не отметить, что теперь департамент эксплуатации Яндекса становится по-настоящему международным коллективом. Это не только позволит компании продолжать развивать новые навыки совместной работы, но и обяжет поднимать планку для уже существующей службы.
Загрузка...