Сегодня 19 марта 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Аналитика

Центр обработки данных. Экскурсия в картинках

⇣ Содержание
Web-странички, чаты, службы знакомств и файловые архивы, новостные сайты, не говоря уж о банковских сервисах и видеохостингах - все они находятся в каких-либо центрах обработки данных (ЦОД), подключенных к опорным магистралям провайдеров фиксированной и беспроводной связи по скоростным каналам связи. Именно в этих залах, которые закрывает 2-3 рубежа охраны и множество камер видеонаблюдения, при небольшой влажности и постоянной температуре в 11-12 градусов тепла хранятся дисковые массивы с миллиардами байт полезной информации. Заглянем в "телекоммуникационную крепость" "Акадо Телеком" - оператор как раз завершил строительство своего третьего ЦОД.

Центральное хранилище данных

Основа любого ЦОД - это главный зал, закрытый до полной герметичности: там постоянно работают кондиционеры и вентиляторы, поэтому внутри стоит равномерный гул работающей техники. Здесь в стойках можно встретить самые различные конфигурации: кто-то заполняет своей техникой все пространство, кто-то покупает только отдельные слоты. В одном таком помещении может "жить" несколько тысяч различных сайтов и информационных систем в самых разных доменных зонах. Причем, небольшие и средние хостинг-провайдеры вполне спокойно размещают так своих клиентов, если собственных мощностей им не хватает или они просто отсутствуют как класс. Интересно, что все ЦОД разделяют по классам в соответствии со специальнвм стандартом TIA-942, который опубликован в 2005 году - это больше 150 страниц текста мелким шрифтом, где досконально, четко и лаконично описываются все требования к подобным сооружениям. Естественно, чем выше класс - тем больше надежность ЦОДа. Аналогия здесь прямая со "звездочками", которые присваиваются отелям - правда, пока только от 1 до 4 (у отелей есть 5 и даже 5 deluxe). Более подробно эту информацию можно увидеть в Таблице №1: при случае уточните у своего провайдера, где же именно "висит" ваш сервер или сайт.
Таблица №1. Уровни надежности ЦОД по стандарту TIA-942
Параметр/Класс ЦОД (уровень) 1 2 3 4
Тип здания C соседями Отдельно стоящее
Количество энерговводов 1 1 Один активный, второй резервный Два активных
Схема резервирования компонентов N N+1 N+1 2 (N+1)
или S+S
Первоначальная мощность из расчета Вт на м² 215-323 430-537 430-645 537-860
Максимальная мощность Вт на м² 215-323 430-537 1075-1615 1615+
Бесперебойное кондиционирование Нет Нет Возможно Есть
Нормативная нагрузка на фальшпол, кг на м² 415 488 732 732+
Общая длительность отказов за год 28,8 ч 22 ч 1,6 ч 0,4 ч
Доступность ЦОД 99,67% 99,75% 99,98% 100,00%
Обслуживание ЦОД должен полностью останавливаться для регламентных работ Допускаются перерывы в работе на техническое обслуживание и ремонт Круглосуточная смена по будням, в выходные по вызову Круглосуточная дежурная смена
Как показывает практика, большинство российских ЦОД можно отнести ко второму классу систем. И только крупные компании могут позволить себе создать ЦОД уровня 3 или 3+. Решения 4-го класса еще называют катастрофоустойчивыми, поскольку в них предусмотрено практически все, за исключением, быть может, прямого попадания авиабомбы.
ЦОД компании "Комкор".
 ЦОД - за этой стенкой
Полноценный ЦОД - за этой стенкой.
 ЦОД02.jpg
Двери металлические, с камерами наблюдения - но перед входом надо обуть пластиковые бахилы: руководство "Комкора" делает все то же самое, что и журналисты: правила едины для всех.
В ЦОД "Комкора" 140 серверных шкафов для установки оборудования мощностью 15 кВт каждый, глубиной 1,2 м. Подключение к сети Интернет организовано на скорости 10 Гб/с.
 Шкафы 'за горизонт'
Главный зал не разделен на отдельные гермозоны, все стойки выстроены прямоугольником в несколько рядов.
 В ожидании подключения
В ожидании подключения.
 'Распределительный щит'
В каждом ряду стоек есть свой "распределительный щит" для передачи информации.
 Оборудование уже под нагрузкой
Тыльная сторона стойки - оборудование уже под нагрузкой.
 Пустая стойка для юнитов
Пустая стойка для юнитов - подведена СКС и электропитание.
 Порты и розетки
Порты для подключения сетевого кабеля и розетки для электропитания - все это внутри каждый стойки.
 Держатели для кабеля
К потолку прикреплены специальные держатели для сетевого кабеля и отдельный защищенный короб желтого цвета для кабелей электропитания.
Структурированная кабельная сеть в ЦОД разделена на три основных области: кабельную, горизонтальную и зонную разводки. СКС построена с использованием оборудования и комплектующих фирмы Panduit. Для медной разводки использованы кабели 6 категории. Для организации оптической СКС использованы одномодовый и многомодовый оптические кабели. Кажется - небольшое помещение, несколько сотен квадратных метров, но только оптического кабеля здесь проложено 40 км. Еще 175 км - медного кабеля. Смонтировано 4 тыс. оптических портов и 2,2 тыс. медных портов. Кроме того, центр обработки данных подключен к собственной волоконно-оптической сети "Комкор" - крупнейшей мультисервисной сети московского региона.
 Кабельные трассы
Кстати, потолка для проводки кабеля обычно не хватает - добавляют еще под фальшполом. Вот пример из ЦОД оператора "Элнет".
 Стойка с оборудованием
Практически полностью заполненная оборудованием стойка.
 Метки владельцев 'железа'
Обычно владельцы оборудования подписывают свои юниты - чтобы было понятно, где что "висит".
 'Железо' NetGear
Коммуникационное оборудование NetGear.
Для сравнения, можно посмотреть на ЦОД рядом с Женевой - именно там размещена GRID-система Европейского центра ядерных исследований, где серверы, дисковые массивы и ПК объединены в единое телекоммуникационное пространство. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети GRID они связаны 10-Гбит/с каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.
 Внешний вид ЦОД
ЦОД в CERN состоит из двух этажей - это несколько тысяч квадратных метров. На первом плане - двухпроцессорные рабочие станции на интеловском Xeon, чуть дальше - более продвинутые серверы Sun.
 Прикладная колористика
СКС в полевых условиях - ни о какой четкой проводке речи не идет.
 Порты под нагрузкой
Все порты под нагрузкой - перед входом нас неоднократно попросили - "только ничего, пожалуйста, не трогайте - все в рабочем состоянии".
 Местный суперкомпьютер
Местный суперкомпьютер - для непосредственного управления в оперативном режиме предусмотрена сенсорная панель. Логин, который горел на экране, - ясное дело, admin. А вот какой пароль - мы гадали. То ли "Бог", то ли admin.
 Монтаж нового оборудования
Второй этаж ЦОД - в новые 19-дюйм стойки инсталлируют современное оборудование, но делают это секторами - убирают старое, прокладывают новые кабельные СКС, потом монтируют стойки и дальше уже - установка техники.
 'Руками не трогать'
Экскурсии в ЦОД многочисленные, поэтому везде развешены таблички "руками не трогать, идет настройка нового оборудования". Во время экскурсии с нами ходил главный программист CERN, и, в отличие от руководителя ИТ-департамента, он был крайне недоволен - никому не нравится, когда трогают или пытаются трогать его игрушки.
 Тотальная маркировка
На каждый проводок - свой номерок. А то вдруг забудешь?
 Контроль температуры
Это не просто столбики, а датчики температуры с модулями беспроводного доступа - при достижении пороговых значений они выдают сигнал тревоги.
 Индикатор работы системы пожаротушения
Индикация включения автоматической газовой системы пожаротушения.
В ЦОД обеспечено полное резервирование всех инженерных и телекоммуникационных систем: электропитания, кондиционирования, СКС, активного сетевого оборудования. ЦОД - по схеме N+1, лаборатории и телекоммуникационного центра - по схеме 1+1. Управление и контроль за работой систем осуществляются автоматически. Комплекс оборудован системой аварийной остановки и противопожарной безопасности, включающей автоматическую газовую систему пожаротушения: использование именно такой системы исключает повреждение оборудования при ликвидации пожара.

Концентрация каналов доступа

Еще одной частью "цифровой крепости" компании "Комкор" является телекоммуникационный центр, где смонтировано 18 тыс. портов и организовано подключение ко всем крупнейшим российским операторам связи и международным интернет-провайдерам. Основа системы ЦОД - активное оборудование Cisco Systems: два коммутатора ядра, работающих с использованием технологии VSS, 14 коммутаторов доступа. Кроме того, здесь же находится центр приема, кодирования и ввода спутниковых ТВ-сигналов в сеть цифрового кабельного телевидения (28 аналоговых, 160 цифровых и 24 радиоканалов).
Телекоммуникационный центр "Комкор".
 Головная станция КТВ 'Акадо'
Головная станция КТВ "Акадо".
 ЦОД19
Tелекоммуникационный комплекс "Комкор" выполнен в светлых тонах.
 Оборудование компании Cisco Systems
Основа телекоммуникационного комплекса - оборудование компании Cisco Systems.
 Кодирование видеоканалов
Специальная стойка с криптокартами - именно через нее идет кодирование сигнала видеоканалов.
 Стойка кодирования видеоканалов
Видеоканалов у "Комкора" много, поэтому с картами - целая стойка.
 Каналы 'Спорт' и 'Россия'
На каждый телеканал своя "железка" - вот как выглядят каналы "Спорт" и "Россия".
 'Железо' для трансляции радиоканалов
"Железо" для трансляции радиоканалов.
 Мобильный модуль настройки и контроля
Модуль для обслуживания оборудования и монтажа юнитов.
Мобильный модуль настройки и контроля.
 Монтаж оборудования
Монтаж оборудования телекоммуникационного комплекса.

Тотальный контроль

Крупную сеть, ЦОД или телекоммуникационный центр нельзя оставить без присмотра - именно поэтому в "Комкоре" был организован Центр управления сетью. Основная задача Центра - оперативное управление и координация действий технических служб по эксплуатации сети, моментальное реагирование в случае возникновения чрезвычайных ситуаций. Сейчас центр только развивается, в итоге здесь, в двух залах, будет оборудовано до 80 рабочих мест, где будут принимать заявки от клиентов и всех компаний группы "Акадо". Первый зал - контроль работы ЦОД и сети передачи данных. Второй - контроль качества IPTV, именно для этого здесь создана видеостена: операторы видят ровно то же изображение, что и клиенты.
 Первый зал Центра управления сетью
Первый зал Центра управления сетью - здесь есть полная информация о состоянии проводной сети "Комкора", а также функционировании его ЦОД и телекоммуникационного центра. В проеме - рабочие места руководителей смены.
Первый зал Центра управления сетью.
 Второй зал Центра управления сетью
Второй зал Центра управления сетью - здесь контролируют качество видеосигнала по IPTV.
Второй зал Центра управления сетью.

Техническое обеспечение

Мало ЦОД построить, необходимо обеспечить бесперебойную и стабильную работу оборудования, комфортное и безопасное хранение данных. Реализовать это возможно только за счет специальных инженерных систем.
 Купольные панорамные камеры
Купольные панорамные камеры - это пример из ЦОД компании "Комкор".
 'Обычные' IP-камеры для помещений
"Обычные" IP-камеры для помещений - это пример из ЦОД оператора "Элнет".
Основная из них - это система безопасности. Камеры открываются только магнитными картами для авторизованных сотрудников, клиенты могут монтировать и тестировать свое оборудование только в специальном "предбаннике", в ЦОД им доступа нет. А за всеми помещениями следят камеры безопасности - это полноценное IP-решение с записями всех передвижений персонала, которые хранятся несколько недель на случай нештатных ситуаций.
 Центр системы охлаждения
Центр системы охлаждения, который размещен в подвале.
 Вентиляционная система ЦОДа
Вентиляторы, расположенные снаружи здания - они выводят избыточное тепло и забирают воздух для охлаждения.
Для создания необходимых климатических условий реализована трехконтурная система холодоснабжения фреон-вода-фреон. Гидроаккумуляторы емкостью 30 тонн обеспечивают бесперебойное охлаждение в случае прекращения подачи электроэнергии до начала работы дизельных генераторов. Общая производительность системы - 2,7 МВт.
 ЦодСистемы04.jpg
Энергообеспечение всего комплекса осуществляется от двух независимых линий высокого напряжения, 10 кВ каждая, через устройство включения резерва и четыре трансформаторных подстанции суммарной мощностью 5 МВт.
 Датчики на дверях
Каждый шкаф с электропитанием имеет индивидуальный датчик, показывающий его состояние.
 ЦодСистемы06.jpg
При аварийном отключении электроэнергии через 30 секунд после прекращения основного электроснабжения начинают работу дизельные генераторы, способные обеспечить неограниченное по времени непрерывное автономное функционирование ЦОД. Общая мощность двух ДГУ - 3,5 МВт.
Машинный зал с генераторами электроэнергии.
 Дизельные генераторы запускаются дистанционно
Эти дизельные генераторы запускаются дистанционно, поэтому могут включиться в любой момент - об этом предупреждают многочисленные таблички.
 Бак для дизельного топлива
Рядом с генераторами, в отдельном помещении, расположен специальный бак с дизельным топливом - как только оно будет заканчиваться, можно подогнать бензовоз и пополнить запасы через специальную систему заправки.
 Защитные наушники
Когда генераторы включены, спасти могут только вот эти наушники - иначе шум просто невообразимый.
 Чиллеры
Основой климатической системы Центра обработки данных стало оборудование компании Emerson Network Power (бренд Liebert). По специальному заказу "Акадо Телеком" на заводах Liebert Hiross в Италии изготовлены три водоохлаждающие машины (чиллеры).
 Unit is OFF
Не все машины включены, поскольку ЦОД еще не заполнен даже наполовину.
 Прецизионные напольные кондиционеры
Для снятия теплопритоков от серверного оборудования в ЦОД установлены прецизионные напольные кондиционеры, создающие "холодный" и "горячий" коридоры в рядах между стойками. Помимо этого, ими обеспечивается поддержка необходимой влажности воздуха и его очистка от пыли.
 Доводчики холода
Через каждые два-три шкафа установлены доводчики холода для более равномерного распределения холодного воздуха. Подобное решение впервые применено в российских центрах обработки данных.
Для обеспечения безопасности создана подсистема аварийной остановки телекоммуникационных комплексов, систем холодо- и энергоснабжения. Система обеспечивает подачу управляющих сигналов на отключение вводно-распределительных устройств и распределительных щитов, а также на отключение источников бесперебойного питания и электропитающих установок постоянного тока. Степень обеспечения надежности электроснабжения относится к потребителям особой группы первой категории надежности. На этом позвольте закончить. О любом центре обработки данных можно рассказать так много интересного, что потребовался бы цикл статей! Так что мы, без сомнения, еще вернемся к этой теме. А наша первая экскурсия в мир серверных шкафов, структурированных кабельных систем, систем охлаждения и питания закончена, надеемся вам было интересно.
- Обсудить материал в конференции


 
 
⇣ Содержание
Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.

window-new
Soft
Hard
Тренды 🔥
Всё своё ношу с собой: Nvidia представила контейнеры NIM для быстрого развёртывания оптимизированных ИИ-моделей 5 ч.
Nvidia AI Enterprise 5.0 предложит ИИ-микросервисы, которые ускорят развёртывание ИИ 6 ч.
NVIDIA запустила облачную платформу Quantum Cloud для квантово-классического моделирования 6 ч.
NVIDIA и Siemens внедрят генеративный ИИ в промышленное проектирование и производство 6 ч.
SAP и NVIDIA ускорят внедрение генеративного ИИ в корпоративные приложения 7 ч.
Microsoft проведёт в мае презентацию, которая положит начало году ИИ-компьютеров 8 ч.
Амбициозная ролевая игра Wyrdsong от бывших разработчиков Fallout: New Vegas и Skyrim в опасности — в студии прошли массовые увольнения 8 ч.
THQ Nordic раскрыла системные требования Alone in the Dark на все случаи жизни — для игры на «ультра» понадобится RTX 4070 Ti 9 ч.
Сливать игры до релиза станет опаснее — создатели Denuvo рассказали о технологии TraceMark for Games 9 ч.
Календарь релизов 18–24 марта: Dragon's Dogma 2, Rise of the Ronin, Horizon Forbidden West на ПК 11 ч.