В половине первого ночи в старом зале горит верхний свет, на полу расстелена пузырчатая плёнка, рядом стоят четыре пустые коробки с заводскими вкладышами. Администратор снимает патч-корды и подписывает каждый маркером прямо на бирке. Инженер держит сервер за корпус, пока второй выкручивает направляющие. За стеклом машина с открытым кузовом ждёт под фонарём.
Так выглядит нормальный переезд: скучно, по списку и до четырёх утра. Сорванные переезды выглядят иначе — там ищут отвёртку, вспоминают пароль от коммутатора и звонят провайдеру в шесть утра. Разница между двумя картинами набирается за две недели подготовки.
Кросс в новом зале готовят заранее: порты расписаны до приезда машины.
Что описать до переезда
Опись делается один раз и экономит всю ночь. В ней три части: схема стойки, схема питания, схема связей.
Схема стойки: какой сервер на каком юните стоит, сколько занимает, с какой стороны выведены разъёмы.
Схема питания: сколько блоков питания у каждой машины и на какой луч они включены.
Схема связей: какой порт коммутатора куда идёт, где проходит канал провайдера, какие адреса прописаны руками.
Список сервисов с владельцами: кого предупредить, кто подтвердит запуск, чей телефон брать ночью.
К описи приложите фотографии задней стенки стойки — общий план и два-три крупных. Ночью они отвечают на половину вопросов быстрее любой схемы. Новую площадку к этому моменту стоит выбрать окончательно, а площадки и доступ к залам сравнить по адресу и режиму прохода.
Окно работ и порядок остановки
Окно выбирается по самому чувствительному сервису, а не по удобству инженеров. Считайте так: время на демонтаж плюс дорога плюс монтаж плюс проверка, и сверху сорок процентов запаса.
Что можно гасить днём
Тестовые среды, файловый архив, резервные копии прошлых месяцев, вторые узлы кластеров — всё это переезжает в рабочее время и никого не будит. Начинать лучше именно с них: команда разминается на неважном.
Что только ночью
База учётной системы, почта, шлюз в интернет и телефония гасятся после полуночи, когда последний бухгалтер закрыл смену. Порядок остановки записывается заранее: сначала приложения, потом базы, в последнюю очередь сеть. Поднимается всё в обратном порядке, и этот список читают вслух — по памяти ночью работает плохо.
6 часовСтолько занимает переезд десяти серверов с одной стойки при готовой описи. Без описи та же работа растягивается на две смены.
Как упаковать и довезти
Корпуса. Серверы едут в заводских коробках, если они сохранились, или в жёстких ящиках с ложементом.
Диски. Диски из горячих корзин вынимают до упаковки серверов и везут отдельно в антистатических пакетах.
Комплектующие. Рельсы, винты и заглушки складывают в подписанный пакет.
Машину берут с закрытым кузовом и ремнями. Зимой оборудование после улицы держат в зале час до включения: конденсат на плате дороже любого простоя.
Приёмка на площадке
Сверка при въезде
На въезде оборудование принимает дежурный инженер по описи: сверяет серийные номера, отмечает вмятины и сколы, подписывает акт вместе с вашим представителем.
Пропуска до приезда
Пропуска на людей и машину заказывают заранее, иначе колонна стоит у шлагбаума, пока охрана звонит менеджеру.
Расстановка оборудования Монтаж идёт снизу вверх и от тяжёлого к лёгкому: источники бесперебойного питания и дисковые полки — в основание, серверы — выше, коммутаторы и патч-панели — под самый верх.
Подключение питания Каждая машина с двумя блоками питания включается в два разных блока розеток, иначе смысл двух лучей теряется.
Кроссировка Кроссировку делают сразу по схеме и сразу подписывают.
Проверка каналов Каналы проверяются до отъезда команды. Минимум: пинг до шлюза, трассировка до внешнего узла, доступность каждого сервиса с рабочего места владельца.
Проверка второго луча С инженером площадки проверяют, продолжает ли оборудование работать от второго луча при недоступности первого.
Если проверка питания или каналов не прошла, устраните проблему до отъезда команды.
Телефоны дежурной смены и адрес, по которому ехать при аварии, держите под рукой: как доехать до машинного зала, описано словами, с выходами из метро.
Первые сутки: мониторинг и откат
Дежурство после запуска
Сутки после запуска команда работает в режиме дежурства. Смотрят температуру в стойке, потребление по каждому лучу, загрузку канала и ошибки на портах. Пороги ставят низкими нарочно — лучше лишний раз проснуться от уведомления, чем утром узнать о перегретой полке от пользователей.
Условия отката
План отката пишется до переезда и звучит просто: старая площадка держится оплаченной ещё месяц, старые адреса не отдаются, записи в системе доменных имён (DNS) переключаются с коротким временем жизни. Вернуться в этом случае можно за два часа. Пользоваться таким планом приходится редко, но спится с ним лучше.
Что чаще всего забывают
Забывают три вещи, и все три вылезают в первую неделю.
Лицензии
Лицензии, привязанные к адресам или к оборудованию: их переносят заранее, иначе система встаёт в понедельник.
Резервные копии
Резервные копии: последняя копия снимается перед демонтажом, а не «на прошлой неделе».
Договор со старой площадкой
И договор со старой площадкой — уведомление о расторжении обычно подаётся за тридцать дней, иначе придёт ещё один счёт.
Мы возим клиентов своим транспортом и ставим оборудование в стойку в ту же ночь. Опись при этом составляет ваш администратор: он знает, что именно нельзя гасить раньше почты.