О сопровождении и развитии сложных Storage-решений

О проблемах поддержки Storage-решений, трудностях, с которыми сталкивается сервисная служба, кадровых проблемах в беседе с Андреем Борзенко, главным редактором "BYTE/Россия", рассказывает Владимир Щукин, руководитель Департамента по работе с предприятиями транспорта компании "ТехноСерв А/С".

"BYTE/Россия": Как Вы считаете, достаточно ли освещается в прессе эта
тема — системы хранения и все, что с ними связано?

Владимир Щукин: На мой взгляд, системам хранения как обязательной части
информационной инфраструктуры в отечественной прессе уделяется должное внимание.
Нет недостатка в информации ни о технологических новинках Storage-индустрии,
ни о конкретных технических решениях, ни о методиках выбора тех или иных продуктов.
Довольно часто в сводках новостей попадаются сообщения такого рода: "Компания
Х выбрала решение компании Y…" или "Компания Z приступила к проекту…". Но
вот словосочетание "…успешно завершила проект" встречается существенно реже.
Вопросы же сопровождения и эксплуатации систем хранения вообще остаются "за
кадром".

А ведь сегодня все большее число ИТ-проектов подпадают под категорию "сложных" — на базовые решения, внедренные несколько лет назад, наслаиваются новые аппаратные и программные системы, увеличивается гетерогенность решений, растет сложность приложений и объемы обрабатываемых данных. Соответственно появляется много проблем, причем не только на этапе внедрения, но и в процессе последующей эксплуатации, и освещать их в прессе, вне всякого сомнения, целесообразно.

Компания "ТехноСерв А/С" вышла на российский рынок Storage-решений в 1995 г., когда сколько-нибудь значимых игроков на этом рынке не было, да и рынок как таковой еще не сформировался. За прошедшее с тех пор время она реализовала более 300 проектов на базе оборудования и технологий наших основных партнеров по этому направлению — компаний EMC, StorageTek, IBM и Veritas. "ТехноСерв А/С" традиционно работает с крупными заказчиками, так что нам пришлось совместно с ними решать задачи, часто не имевшие прецедентов. Надеюсь, что рассказ о положительном, и весьма немалом, опыте компании в этой области будет интересен, причем в первую очередь ведущим специалистам и руководителям информационных служб — тем, на ком лежит ответственность за сопровождение и развитие информационных систем на крупных предприятиях.

"BYTE/Россия": В чем состоят основные проблемы поддержки Storage-решений?

В. Щ.: Я бы выделил несколько проблем. Первая — исключительная важность
систем хранения в информационной системе современного предприятия. Эта исключительность
— следствие того, что хранимые в электронном виде данные приобретают сегодня
критическое значение для ведения бизнеса. Констатация того, что "данные жизненно
необходимы для бизнеса", сменилась утверждением "данные — это и есть бизнес".
Поэтому системы хранения должны давать многолетнюю гарантию абсолютной сохранности
данных и, кроме того, обеспечивать своевременную их доступность — и днем, и
ночью.

При любых операциях, связанных с сопровождением, — при изменении конфигурации устройств, при замене неисправных компонентов, при развертывании ПО, — доступ к корпоративным данным не должен прерываться ни на минуту. Это давно уже стало аксиомой для западных компаний, бизнес которых очень сильно завязан на информационные технологии. Но и в России есть крупные информационные системы, остановка которых ведет к прямым экономическим — а может быть, и политическим! — потерям. Приведу такой пример: когда на одной из железных дорог в течение получаса не работала система резервирования и бронирования мест "Экспресс" — а дело было в разгар летнего сезона, — толпа успела разгромить все стеклянные кассы на городском вокзале!

Вторая проблема связана с "долгим" временем жизни систем хранения. Если методы обработки данных меняются достаточно быстро, синхронно со сменой серверного парка, т. е. примерно раз в пять лет, то методы хранения данных должны обеспечивать обратную совместимость на срок, равный времени жизни основной части информации, а это уже периоды в 25-100 лет и более. Учесть этот фактор при современных темпах развития архитектуры ИТ-систем достаточно непросто.

И, наконец, проблема интеграции Storage-решения в существующую информационную систему. Особенно актуальна она для крупных предприятий, что называется, XXL-компаний. На таких предприятиях в силу особенностей, связанных с масштабом бизнеса, обычно используются разнородные программные продукты, различные серверные платформы и операционные системы, оборудование от нескольких производителей. Оптимальным образом вписать, а затем поддерживать системы хранения в таких системах, учитывая уже сделанные инвестиции в технические средства, а также навыки и опыт обслуживающего персонала, — процесс, требующий значительно и принципиально более объемных, дорогих, длительных и сложных работ.

"BYTE/Россия": Насколько заказчик вообще задумывается о сопровождении
на этапе покупки системы?

В. Щ.: Конечно, задумывается! Договор на сопровождение нужен всем —
независимо от объема инфраструктуры. Даже если на предприятии стоит только один
компьютер для бухгалтера, все равно ему нужен хотя бы номер телефона, по которому
можно позвонить и сказать — приезжайте, у меня проблема.

Тем более это справедливо для крупных предприятий, работающих с сотнями приложений и терабайтами данных. Тем более это справедливо сегодня, когда понятие "цены вопроса" сместилось от оценки первоначальных инвестиций в оборудование к анализу совокупной стоимости владения ИТ-решением. И тем более это будет справедливо завтра, когда по мере развития технологий и усложнения ИТ-систем сервис и техническая поддержка будут играть все большую роль.

Это прекрасно понимают заказчики, это прекрасно понимаем и мы, считая техническую поддержку поставляемых решений важнейшим элементом своей работы. Поскольку системный интегратор заинтересован в успехе проекта в целом, он просто обязан не останавливаться на внедрении, но включать в проект и процесс эксплуатации — по сути, единственный этап, приносящий отдачу бизнесу заказчика.

В этом плане мы во многом ориентируемся на нашего первого и до сих пор остающегося стратегическим партнера по Storage-решениям — компанию ЕМС. Высокое качество системы обслуживания клиентов, которой не может похвастаться ни одна другая компания в мире, — одно из бесспорных конкурентных преимуществ ЕМС, считающей сервис сам по себе критически важным элементом ИТ-систем. Предлагая заказчикам продукты и технологии хранения данных от ЕМС и других наших партнеров, обеспечивающие гарантированный уровень отказоустойчивости решений, мы стремимся предоставлять гарантированный же уровень их сопровождения.

Сервисные программы "ТехноСерв А/С" расширяют стандартные условия гарантийного и послегарантийного обслуживания, предоставляемые производителями, дают заказчикам возможность пользоваться круглосуточно работающей диспетчерской службой, сервисным складом и консультациями инженеров нашей компании. Есть и еще целый спектр дополнительных услуг по сопровождению — от удаленной диагностики систем хранения до разработки процедур их эксплуатации.

"BYTE/Россия": И насколько дополнительные услуги по сопровождению востребованы
российскими заказчиками?

В. Щ.: Современные устройства хранения данных уровня предприятия — это
сложные аппаратно-программные комплексы. К ним неприменим принцип "включил и
работай". Понятно, что их сопровождение требует определенных работ, причем выполнять
их должны специалисты с достаточно высоким уровнем подготовки. И вопрос состоит
лишь в том, кому поручить эти работы — внутренней ИТ-службе или сторонней профильной
организации; иными словами, он сводится к классической дилемме — "купить или
произвести самому?". И тут у системного интегратора есть явные преимущества
перед ИТ-службой предприятия, которая порой берется за это самостоятельно. Интегратор
чаще всего имеет опыт многократного проведения таких работ и обученных специалистов,
в то время как заказчик сталкивается с этим, может быть, в первый и в последний
раз, учась на собственных ошибках. Однако однозначного ответа на этот вопрос
не существует, поскольку предприятия разного масштаба и разного ИТ-менталитета
решают его по-разному.

Пожалуй, всех заказчиков можно разделить на две четко очерченные группы. С одной стороны — организации, унаследовавшие вычислительные центры с советских времен, с соответствующей инфраструктурой и человеческими ресурсами. С другой — компании, основанные в последние 10-15 лет, в которых ИТ-службы создавались "с нуля".

Первые, как правило, имеют достаточно внушительный штат собственных инженеров, администраторов, программистов. Кроме того, они готовы вкладывать значительные средства в обучение специалистов, "выращивать" свою команду, которая, пройдя обучение, могла бы в дальнейшем обеспечивать сопровождение собственными силами. Зачастую чисто психологически такие заказчики не готовы платить значимые деньги за услуги сторонним организациям. Они предпочитают решать вопросы сопровождения самостоятельно, привлекая сторонние компании лишь для работ, с которыми сами справиться не могут.

Вторые придерживаются "западной" модели организации производства. Во главе ИТ-служб стоят руководители, скорее управленчески-, чем инженерно-ориентированные. С ними намного легче разговаривать о продаже сервисных услуг. Многие из таких заказчиков, не отказываясь от собственных специалистов и от собственного участия в управлении ИТ-инфраструктурой, используют схемы аутсорсинга, понимая, что некоторые услуги выгоднее покупать на рынке.

В последнее время среди таких заказчиков востребована очень интересная схема сервисного сопровождения. Современные системы хранения имеют функцию удаленной диагностики: в каждое устройство встроены специальные датчики, которые отслеживают температуру, вибрацию, колебания напряжения и т. д. Помимо этого, регистрируются все необычные случаи ввода или извлечения данных. Всего определяется порядка тысячи показателей. Каждые два часа устройство проверяет свое состояние. Если все в порядке, данные мониторинга просто записываются в память, если же обнаруживаются какие-то, даже незначительные, отклонения, устройство сообщает об этом в нашу сервисную службу по специально выделенной линии. Специалисты заказчика только отслеживают сообщения, посылаемые устройствами хранения. Все остальные работы — анализ сообщений и ошибок, изменение конфигурации, периодическое проведение диагностических мероприятий (в режиме ежеквартальных, еженедельных и даже ежедневных проверок) — проводим мы.

Мы считаем, что такой подход наиболее выгоден для заказчиков, ведь больших денег за эти услуги мы не берем. Да и нам это удобно, поскольку позволяет "держать руку на пульсе", подстраховаться от неверных действий ИТ-сотрудников в нештатных ситуациях, а порой выявлять и решать проблему, когда заказчик еще и не догадывается о ее существовании.

На сегодняшний день доля таких сервисных договоров от общего числа проектов составляет у нас около 30%, но из года в год она растет. И тенденция эта приятная.

"BYTE/Россия": Как организовано обслуживание Storage-решений в "ТехноСерв
А/С"?

В. Щ.: Основной объем работ по этому направлению — прединсталляционные
и инсталляционные работы, сопровождение и консалтинг, гарантийное и послегарантийное
обслуживание — выполняется сотрудниками Технического центра Департамента информационных
технологий "ТехноСерв А/С", где специально выделена группа поддержки решений
хранения данных. В составе этой группы в настоящее время работает 12 человек,
специализирующихся по модельным рядам различных вендоров — EMC, IBM, StorageTek.
Кроме того, привлекаются специалисты из смежного подразделения — Отдела общесистемных
технологий (секторы MVS, VM и Unix/NT), которые обеспечивают установку и сопровождение
программных компонентов в части серверных платформ.

Организационная модель предоставления сервисных услуг построена по классической схеме, ставшей стандартом де-факто в системах обслуживания клиентов. "ТехноСерв А/С" в этом смысле "правильная" компания. У нас есть система ведения контрактов, есть единая точка входа, есть процедуры приема, обработки и эскалации заявок, есть системы контроля качества и самое главное — есть специалисты высокой квалификации. Подтверждением качества нашей сервисной службы я считаю наличие у "ТехноСерв А/С" наивысшего партнерского статуса EMC — Authorized Services Network Partner (мы его получили в 1999 г.). Чтобы иметь такой статус, нужно удовлетворять очень серьезным требованиям со стороны EMC. Поверьте, EMC — строгий экзаменатор. Достаточно сказать, что такой статус у нее имеют всего три партнера в мире.

Мы очень гордимся нашим Демонстрационным центром, в составе которого работает семь дисковых массивов Symmetrix и CLARiiON различных моделей, а также ленточные библиотеки STK L700E и IBM 3584L32. Техническая база Центра активно используется инженерами не только на этапе предпродажной подготовки, но и на этапе поддержки и сопровождения уже развернутых решений, например, для моделирования нештатных ситуаций (неисправностей, отказов и ошибок) и выработки рекомендаций по их устранению, а также для проработки вариантов последующих модернизаций.

Но главная ценность компании — это, на мой взгляд, Storage-команда "ТехноСерв А/С". В ее составе работают высококлассные специалисты, обладающие обширной экспертизой и имеющие опыт реализации сложных гетерогенных Storage-проектов. Они решают масштабные, нетривиальные задачи, порой в сложнейших условиях.

Специфика проведения плановых работ такова, что приходится работать тогда, когда обычные люди отдыхают. Ведь абсолютное большинство работ проводится в одно и то же время — в ночь с субботы на воскресенье, только тогда основная часть заказчиков может себе это позволить. С ремонтными работами ситуация несколько другая. Хотя мы имеем дело со сверхнадежным оборудованием, все же, как гласит закон Мэрфи, "все, что может испортиться, портится. Все, что не может испортиться, портится тоже". От себя добавлю: "Причем в самое неподходящее время и там, где этого не ждешь". Можно иметь огромный опыт и тем не менее споткнуться обо что-то такое, что и в голову не могло прийти. Да и поток отказов — процесс случайный, так что объем работ по обслуживанию прогнозировать сложно. В среднем у каждого нашего сотрудника бывает две командировки в месяц, два вызова в неделю по Москве, два звонка в день, но может быть и больше.

"BYTE/Россия": Какую поддержку ваша компания получает со стороны вендоров?

В. Щ.: Надо сказать, что без поддержки со стороны вендоров наша работа
была бы просто невозможна. Наши специалисты имеют прямой доступ к базам знаний
технических центров вендоров, информационным сайтам, в том числе закрытым, а
также к сайтам проблем, где можно задать вопрос и оперативно получить ответ.
В случае возникновения сложных ситуаций в любое время суток можно обратиться
за помощью в центры технической поддержки, расположенные по всему миру. Более
того, наши специалисты имеют прямые контакты по телефону или электронной почте
с такими центрами, что очень сильно сокращает время реакции на проблему заказчика.

Непосредственная техническая поддержка на территории России со стороны вендоров, за исключением, конечно, российского представительства IBM, в настоящее время отсутствует. Те компании, которые открыли в последние годы свои представительства в России, — ЕМС и Veritas, в основном оказывают предпродажную поддержку. Но и здесь ситуация меняется в лучшую сторону. Например, только за последний год штат представительства ЕМС расширился с двух до семи человек, а в этом году предполагается появление в штате еще двух специалистов, ответственных за техническую поддержку партнеров.

"BYTE/Россия": С какими трудностями приходится сталкиваться сервисной
службе?

В. Щ.: Я бы назвал сервисное сопровождение технической проблемой "с
человеческим лицом". При ее решении приходится сталкиваться как с объективными,
так и с субъективными трудностями.

Очень частая проблема — несовместимость "в лоб" приложений, находящихся в эксплуатации у заказчика, и современных технологий. Например, из-за большого количества ограничений на разных уровнях — от физической и логической организации дисковых массивов до прикладных и операционных систем — требуется много усилий, чтобы оптимальным образом использовать дисковое пространство, не снижая при этом производительности всей ИТ-системы. Еще один пример: долгое время объем картриджей, используемых для создания резервных копий, был меньше объема дисковых накопителей, что создавало определенные неудобства администраторам систем. В настоящее время эта проблема снята, появились картриджи емкостью несколько десятков и даже сотен гигабайт. Но в целом все, что связано с переходом на новые технологии, — это большая проблема. Запросы заказчиков по объему хранимых данных постоянно растут. Storage-рынок очень динамичен, на нем регулярно появляются новые решения. Поэтому нашим специалистам приходится много времени уделять разработке процессов перехода на новые типы носителей, адаптации приложений к новому оборудованию, обновлению версий ПО, расширению сервисных функций систем.

Очень много проблем, и организационных, и технологических, возникает с поддержкой решений предыдущих поколений. В силу специфики информационных систем некоторых заказчиков, где купленная техника используется подолгу, мы до сих пор поддерживаем оборудование, выпускавшееся в начале 90-х гг., и храним на складе, например, девятидюймовые диски емкостью 1 Гбайт (!), и это при том, что в современные устройства устанавливаются диски по 180-320 Гбайт.

К числу объективных можно отнести проблемы телекоммуникаций — не все заказчики могут обеспечить нормальную телефонную/модемную связь с нами. Кроме того, так как мы ведем проекты по всей России — от Сахалина до Калининграда, то возникают и проблемы, связанные с разницей во времени и с долгими утомительными перелетами.

Но есть трудности субъективные — связанные с конкретным заказчиком. Это может быть либо недостаточная техническая подготовка специалистов заказчика, либо, наоборот, излишняя уверенность в своих силах и знаниях. И порой в результате действий служб заказчика приходится тратить много сил и времени, чтобы привести устройство в рабочее состояние и восстановить данные.

"BYTE/Россия": А с кем из специалистов заказчика вы взаимодействуете
в процессе работы?

В. Щ.: В основном специалисты сервисной службы "ТехноСерв А/С" контактируют
с эксплуатационными ИТ-подразделениями заказчиков и видят с их стороны большой
интерес к предлагаемым нами решениям и желание использовать их в своей работе.
Но, к сожалению, часто это желание сдерживается уровнем квалификации сотрудников.
Это очень больной вопрос, мы с ним сталкиваемся и у заказчиков, и у нас в компании
всякий раз, когда расширяем штаты.

Вообще здесь есть некий парадокс. С одной стороны, сегодня на рынке огромное количество ИТ-специалистов, каждый год пополняемое выпускниками различных учебных заведений. А с другой стороны, найти хорошего специалиста по Storage-решениям предельно сложно. А ведь каких-то особых требований мы не выдвигаем, по существу нам нужно лишь хорошее базовое ИТ-образование и знание английского языка. Понимая, что подготовка специалиста нужной квалификации требует значительных инвестиций и времени — не менее двух лет, мы готовы обучать, сертифицировать новых сотрудников, организовывать их стажировку. Я не знаю, насколько корректно сравнение с областью медицины, где врачу, чтобы получить право самостоятельной работы, нужно несколько лет практики, но у нас аналогичная ситуация. Мы посылаем сотрудника в командировку только спустя три-четыре месяца стажировки в нашем Техническом центре и только с кем-то из более опытных коллег. Самостоятельные же командировки доверяются через год и, как правило, сначала лишь по плановым ситуациям.

У ряда заказчиков проблема усугубляется еще и тем, что из-за принятой в их организациях тарифной сетки они не могут достойно платить своим сотрудникам. И я не понимаю, почему они, тратя сотни тысяч и миллионы долларов на закупки оборудования, не в состоянии поддерживать на должном уровне размер оплаты труда специалистов. Порой бывает так, что мы контактируем с каким-то специалистом, видим, что он прошел обучение и отлично работает, а приезжая в очередной раз на площадку заказчика, узнаем, что он уехал работать в Москву. Причем это проблема не только провинциальных городов, она существует и в Москве, здесь толковому специалисту еще проще найти хорошо оплачиваемую работу.

Кстати сказать, боясь текучести кадров, некоторые заказчики не дают специалистам возможности профессионального роста. Ведь после обучения цена специалиста на рынке труда сразу подскакивает, порой в разы. Но обучение персонала — такой же необходимый атрибут высокотехнологичного продукта, как, например, документация. Системы хранения и связанное с ними ПО не раскрывают всего своего потенциала перед пользователями с ограниченными навыками. Например, аналитики EMC считают, что приобретение систем хранения без соответствующего обучения сотрудников приводит к тому, что возможности этих систем используются не более чем на 10-20%.

Конечно, мы пытаемся улучшить ситуацию. В составе проектов почти всегда идет блок тренинга, развития навыков сотрудников заказчика, помощь в овладении новыми методами работы, новыми программными средствами. У нас есть и программы тренингов, и специалисты, которые могут это донести до наших коллег-заказчиков.

Для нашего стратегического заказчика — ОАО "РЖД" мы организовали сайт технической поддержки, на котором выкладываем материалы по решениям EMC, StorageTek и IBM: инструкции, документацию, в том числе на русском языке, таблицы ошибок, описания типовых неисправностей, анонсы новых продуктов и т. п.

Все это, безусловно, необходимые шаги, но по большому счету вопросы сопровождения Storage-решений надо рассматривать в контексте всей проблематики эксплуатации ИТ-инфраструктуры. И здесь нам очень близок подход на основе методики ITIL.

"BYTE/Россия": О ней сейчас много спорят… Почему именно ITIL?

В. Щ.: Действительно, а так ли хороша ITIL? С одной стороны, это исключительно
практическая вещь — опыт многих тысяч компаний, десятков тысяч проектов, а не
одна из целого ряда концепций и теорий. С другой стороны, очевидно, что организация
ИТ-службы на основе ITIL — достаточно сложный и трудоемкий процесс, и до последнего
времени не было понятно, готовы ли к подобным проектам наши заказчики.

Так что мы решили поставить "эксперимент на себе" и начали проект реорганизации сервис-службы нашей собственной ИТ-инфраструктуры, кстати, совсем не маленькой. Параллельно мы запустили несколько полномасштабных проектов по этой тематике с использованием продукта HP OpenView ServiceDesk. Надеюсь, что в скором времени они будут успешно завершены.

"BYTE/Россия": И напоследок — расскажите историю какого-нибудь проекта-"долгожителя".

В. Щ.: Наверное, наш самый длительный и объемный проект — оснащение
и модернизация вычислительных центров ОАО "РЖД" (до 2003 г. — МПС России). На
самом деле это была серия проектов — для ГВЦ и 17 ИВЦ железных дорог, которые
"ТехноСерв А/С" вела начиная с 1993 г. и в рамках которых было поставлено 97
дисковых массивов Symmetrix и 26 ленточных библиотек StorageTek.

Все проекты по-своему интересны, но мне бы хотелось рассказать о решении, реализованном нами для ИВЦ Горьковской железной дороги. Знаете, есть проекты, которые действительно доставляют удовольствие, — когда проект сложный, в нем задействовано много оборудования, различного ПО, и все это работает аккуратно, "как часы", а заказчик технически грамотный, у него есть желание и возможность развивать проект. Внедрение для ИВЦ Горьковской железной дороги — из их числа.

Весь проект можно разделить — впрочем, весьма условно — на несколько этапов. Первый этап (1997-1999 гг.) был связан с модернизацией аппаратной платформы для систем управления грузовыми и пассажирскими перевозками — наиболее объемных и ответственных приложений железнодорожного транспорта. В рамках этого этапа на базе дисковых массивов Symmetrix было создано единое поле хранения данных для трех мэйнфреймов, позволившее объединить их в один комплекс, и организована система создания резервных и архивных копий на роботизированной библиотеке STK 9360.

В 1999 г. в отрасли стартовал проект внедрения современной ERP-системы на платформе SAP R/3, который потребовал сначала создания, а затем последовательного наращивания соответствующей вычислительной инфраструктуры. Так, на втором этапе (2000-2002 гг.) в залах ИВЦ появились Unix-серверы компаний Sun Microsystems и Fujitsu Siemens, до этого в отрасли практически не использовавшиеся, поскольку традиционно задачи управления движением решались на мэйнфреймах.

Третий этап (2002-2004 гг.) связан с появлением в составе программно-технического комплекса ИВЦ новейших устройств последнего поколения — дисковых массивов серии EMC DMX и ленточной библиотеки STK L700 со сверхбыстрыми картриджами STK 9840, а также с разворачиванием инфраструктуры доступа Unix-серверов к данным в архитектуре SAN.

Конечно, на этом проект не заканчивается. В ближайшей перспективе — создание единого контура страховочного копирования для всех приложений, эксплуатирующихся как на мэйнфреймах, так и на Unix-серверах (будущая структура всей системы показана на рисунке). Здесь мы планируем использовать уже опробованный нами в других проектах пакет IBM Tivoli Storage Manager.

Такой будет структура решения, внедряемого в ИВЦ Горьковской железной дороги, в 2005 г.

Проект на Горьковской дороге интересен для нас еще и тем, что многие новые технологии опробовались и внедрялись там впервые в отрасли. На проектах для этой дороги мы приобрели много практического опыта, да и шишек заработали немало.

В связи с этим хочется рассказать один курьезный случай. Для управления библиотекой STK 9360, которую мы устанавливали впервые, срочно потребовалась дисплейная станция IBM 3174 — ящик размером с большой телевизор. Для ускорения доставки было решено отправить ее вместе с инженерами-наладчиками в вагоне СВ. Была оплачена квитанция в багажной кассе, носильщики подвезли станцию к вагону… И тут выяснилось, что хотя станция проходила в двери вагона и даже в коридор ее можно было затащить, пассажиры при этом полностью лишались возможности передвижения по вагону. До отправления поезда оставалось минут пятнадцать, проводница категорически отказывалась терпеть это устройство в тамбуре или коридоре. Что делать? То, что последовало за этим, напоминало разбор автомата Калашникова на время, причем на глазах у всей изумленной публики. Но на следующий день и наладчики, и станция успешно прибыли в Нижний Новгород…