SpaceVPX – космическая надёжность магистрально-модульных систем

Владимир Бретман, АО «РТСофт»

Общий тренд построения систем на базе стандартизованных (Commercial Off-The-Shelf) COTS - компонентов проник и в космическую отрасль. В данной статье мы поговорим о стандарте SpaceVPX, разработка которого стала логичным продолжением этого тренда.

Дальнейшее освоение пространств за пределами земной атмосферы – одна из важнейших задач, стоящих перед человечеством в XXI веке. Но успешность её решения зависит не только от людей. К серьёзным испытаниям должны быть готовы и их электронные помощники – компьютерные системы космических аппаратов.

Первый полёт человека в космос, 55-летие которого широко отмечалось в апреле этого года, не только стал «звёздным часом» в истории человечества, причём почти в буквальном смысле. Он придал мощнейший импульс развитию новой отрасли, достижениями которой, начиная от спутниковых систем телевидения и связи и заканчивая теплоизоляционными материалами и солнечными батареями, мы сегодня пользуемся, не особо задумываясь об их происхождении.

Космическая отрасль традиционно ассоциируется с высокими технологиями и, разумеется, высокой надёжностью. Это относится и к электронным системам космических аппаратов. Традиционно считалось, что «неземной» уровень надёжности и отказоустойчивости в экстремальных эксплуатационных условиях космоса способны обеспечить лишь специализированные заказные встраиваемые системы.

Однако общий тренд построения систем на базе стандартизованных (Commercial Off-The-Shelf) COTS - компонентов проник и в эту отрасль. Тому способствовали чрезвычайно бурный темп освоения космического пространства, усложнение решаемых задач, требования сокращения сроков разработки и модернизации систем, повышение их быстродействия и надёжности. В настоящий момент в космосе постоянно присутствует большое количество обитаемых и необитаемых летательных аппаратов различных стран. Эта отрасль превратилась в мощную индустрию, связанную с исследованиями, производством новых материалов, обороной и другими актуальными задачами.

В данной статье  мы поговорим  о стандарте SpaceVPX, разработка которого стала логичным продолжением этого тренда.

Причинно–следственные связи

Отраслевые стандарты не рождаются на пустом месте. В нашем случае отправной точкой для разработки открытого стандарта магистрально-модульных систем, ориентированных на космические приложения, стал сложившийся в отрасли консенсус о необходимости перехода от унаследованных системных архитектур с устаревшими параллельными шинами к более современным решениям на базе высокоскоростных последовательных интерфейсов.

За основу была взята системная архитектура VPX, наиболее популярная среди разработчиков встраиваемых решений для ответственных приложений (в том числе – специального назначения).

Своими корнями эта популярность уходит ещё во времена расцвета архитектуры VME. Формально именно стандарт VPX стал в своё время преемником отдельных параметров VME, хотя между ними не так уж много общего.

Разработчики VPX основательно перекроили платформу – от механики системного разъёма до протоколов передачи данных. В результате этих усилий был обеспечен качественный скачок производительности и масштабируемости с хорошим заделом на будущее, что немаловажно для систем с длительным сроком службы. А владельцам специального оборудования предоставили весьма ценную для них возможность безопасной и быстрой замены отдельных защищённых модулей в полевых условиях (стандарт VPX REDI, он же – VITA 48).

Архитектура VPX с самого начала разрабатывалась с прицелом в том числе и на аэрокосмические приложения. Возможно ли было при таком заделе обойтись без дополнительных усилий по стандартизации? Теоретически – да. Базовая спецификация VITA 46 оставляет многое на усмотрение разработчиков оборудования, развязывая им руки в плане адаптации даже под очень специфические и экзотические требования заказчиков.

Однако, как показала ранняя практика внедрения систем VPX, эта свобода манёвра зачастую оборачивалась несовместимостью продуктов различных производителей. В результате это приводило к неудовольствию интеграторов, привыкших самостоятельно выбирать лучшие из доступных на рынке совместимых продуктов и быстро создавать на их основе решения для конкретных прикладных задач. Пришлось учесть и то обстоятельство, что по мере роста и интернационализации космической отрасли в ней стали подходить к вопросам совместимости и интероперабельности электронных систем с гораздо большим вниманием, чем прежде.

Поэтому и было принято решение повторить опыт разработчиков стандарта OpenVPX (VITA 65) и аналогичным образом зафиксировать типовые подходы к проектированию отправляемых в космос VPX-систем и их компонентов. Другое дело, что перед создателями OpenVPX на том этапе (первая редакция стандарта VITA 65 прошла официальную ратификацию ANSI в 2010 году) стояла цель ограничить «творческий беспредел» разработчиков, мешавший развитию рынка.

Спецификация же SpaceVPX, напротив, расширила поле возможностей для создания интероперабельных VPX-продуктов, используя предоставившийся шанс на ещё более тесное сближение с рынком космических приложений.

Рис. 1. SpaceVPX включает в себя рекомендации целого ряда стандартов

Стандарт SpaceVPX (VITA 78) нередко называют «космической вариацией» на тему OpenVPX. И это не случайно. SpaceVPX включает в себя рекомендации целого ряда стандартов (рис. 1):

• VITA-46.0 – базовая спецификация на оборудование VPX,

• VITA-46.3 – отображение сигналов интерфейса Serial RapidIO в разъёмах VPX,

• VITA-46.9 – отображение сигналов PMC/XMC в разъёмах VPX для форматов 3U/6U,

• VITA-46.11 – системное управление VPX-систем, определяет структуру управления системой VPX, основана на интеллектуальном интерфейсе управления платформой (IPMI),

• VITA-48.2 VPX REDI (Ruggedized Enhanced Design Implementation) – усовершенствованная конструкция повышенной прочности с воздушным, кондуктивным или жидкостным охлаждением,

• VITA-65 OpenVPX – стандарт на системный уровень процессорных систем VPX, предназначенный для обеспечения полной совместимости модулей VPX различных производителей. Стандарт определяет несколько системных профилей и порядок реализации в них соответствующего набора спецификаций VITA 46.x.

OpenVPX формирует базовую номенклатуру профилей, которым должны соответствовать различные компоненты (объединительные платы, процессорные  модули,  платы  ввода-вывода и т.д.). VPX-систем, и тем самым гарантирует корректность их  совместного функционирования. А SpaceVPX в свою очередь дополняет этот набор профилями, учитывающими особенности и требования космических приложений. При этом используются те же правила кодификации профилей и сохраняются типоразмеры 3U и 6U, унаследованные VPX от VME.

Рис. 2. Структура профилей SpaceVPX 

Структура профилей SpaceVPX, восходящая от отдельных модулей и предназначенных им слотов объединительной платы к параметрам электропитания и дизайну шасси (рис. 2), – практически идеальный пример следования в русле идеологии OpenVPX.

Схемы самих профилей также выполнены по образу и подобию OpenVPX. Так что у тех, кто знаком с принципами построения систем на основе стандарта VITA 65, чтение профилей SpaceVPX не должно вызывать затруднений. На рис. 3 представлена карта интерфейсов для профилей слотов SpaceVPX. На рис. 4 и 5 даны примеры профилей слотов формата 3U и 6U соответственно.

Отличия «космической вариации» от «основной темы» проявляются прежде всего в том, что и без того высокая планка отказоустойчивости OpenVPX поднимается на ещё более высокий, можно даже сказать заоблачный, уровень. Компромиссы тут неуместны – в космосе от электронного оборудования действительно требуется неземная надёжность. Поэтому в системах SpaceVPX дублируется всё, что должно дублироваться согласно требованиям космических приложений. 

Отказоустойчивость SpaceVPX

При разработке стандарта SpaceVPX ставилась задача достижения приемлемого уровня отказоустойчивости при сохранении разумной совместимости с компонентами OpenVPX, в том числе по назначению контактов. В целях обеспечения отказоустойчивости минимальным элементом избыточности считается модуль. Для обеспечения отказоустойчивости Utility Plane, Management Plane и Control Plane сигнальные шины всех этих подсистем разводятся с резервированием по топологии типа «звезда».

Основные требования к отказоустойчивости в космических приложениях:

• Двойное резервирование линий питания, где каждая линия запитывается от независимого источника питания.

• Двойное резервирование каналов управления.

• Управление модулями через последовательные интерфейсы.

• Управление сигналом «сброс» (reset) индивидуально для каждого модуля.

• Контроль и управление питанием на уровне каждого модуля

Рис. 4. Примеры профилей слотов формата 3U

• Согласование длины и малая асимметрия дифференциальных связей сигналов синхронизации (Timing/synchronization/clocks).

• Отказоустойчивость выбора секции Utility Plane.

• Двойное резервирование секций Data Plane (перекрёстная коммутация типа «точка-точка»).

• Двойное резервирование секций Control Plane (перекрёстная коммутация типа «точка-точка»).

Прежде всего это относится к коммуникационным подсистемам объединительных плат. Здесь SpaceVPX идёт значительно дальше OpenVPX, позволяя дублировать решительно всё, включая подсистемы электропитания, передачи служебных сигналов, данных мониторинга и управления системой. Для этого, в частности, вводится новый тип модулей расширения – SpaceUM.

Рис. 5. Примеры профилей слотов формата 6U

Стандартная методология проектирования систем SpaceVPX предполагает также дублирование источников питания, системных контроллеров и коммутаторов. Такой же подход реализуется применительно к функциональным модулям,  обеспечивающим  взаимодействие с полезной нагрузкой, то есть оборудованием космической платформы, предназначенным для выполнения полётной миссии (связь, наблюдения, научные исследования и т. д.). Наряду с основной рабочей группой модулей различной функциональности (ввод, обработка и хранение данных, управление и т. д.) в архитектуре SpaceVPX стандартно предусмотрено наличие в системе идентично укомплектованной резервной группы. Более того, по требованию заказчика степень избыточности любого из элементов может быть дополнительно увеличена.

Всё это нужно главным образом для того, чтобы гарантированно исключить ситуации, при которых отказ одного из элементов системы оборачивается отказом всей системы в целом. Как это может воплощаться на практике, иллюстрирует пример построения системы SpaceVPX, приведённый на рис. 6. Литерой A обозначен входной поток данных, поступающий в систему от приборов полезной нагрузки космического аппарата. Потоки B-E демонстрируют типичные варианты перемещения данных внутри системы между основными функциональными модулями. В первом из них (B) данные последовательно передаются по цепочке, сначала – процессорной плате, а затем – модулям хранения и вывода. Второй вариант (C) показывает, что процессор при необходимости может запрашивать ранее сохранённые данные. В третьем (D)   входной поток данных передаётся на хранение в необработанном виде либо не сохраняется выходной поток данных, прошедших обработку. Последний из вариантов (E) отображает прямое преобразование входного потока данных в выходной без каких-либо действий с ними внутри системы. А в свою очередь выходной информационный поток (F) при помощи передающих антенн может поступать уже в наземный центр управления полётом.

Чтобы сбой одного из основных функциональных модулей не становился фатальным для всей системы, каждый из них продублирован в составе резервной группы. Соответственно, внутри этой группы модули могут обмениваться данными точно так же, как это происходит в рамках основной группы (G). А перекрёстные связи между основной и резервной группами модулей (I) вкупе с дублированием входных и выходных потоков (H) обеспечивают необходимые соединения для продолжения работы системы при отказе любого функционального модуля – вне зависимости от того, какую комбинацию образуют оставшиеся в строю элементы основной и резервной групп.

Рис. 6. Пример построения системы SpaceVPX

Рис. 7. Топология Data Plane Mesh (вверху) и пример её реализации (внизу)

Примеры системных топологий и их реализации на различных уровнях взаимодействия модулей в системе приведены на рис. 7–11.

Рис. 8. Топология Data Plane Mesh (вверху) и пример её реализации (внизу)

Рис.9. Топология Data Plane Mesh (вверху) и пример её реализации (внизу)

Рис. 10. Топология System Controller/Utility Plane (вверху) и пример её реализации (Utility System Management) в SpaceVPX (внизу). Характеристики: малое энергопотребление; определено VITA 46.0 и 46.11; прогнозирование/ диагностика проблем; может управлять питанием модулей

Рис. 11. Топология Power/Utility Plane (вверху) и пример её реализации (Utility Clocks, Reset и Power в SpaceVPX) (внизу) – питающие напряжения и различные управляющие сигналы. Utility plane обеспечивает входные сигналы для питания, конфигурирования, синхронизации и управления, используя уровни I2C, CMOS и LVDS

Особенности реализации отказоустойчивых систем с использованием модуля SpaceUM

Все линии  reset, clock  и  обслуживающие  сигналы (утилиты) проходят через модуль SpaceUM (рис.12). Через модуль SpaceUM проходят также все VPX-напряжения от источников питания. Управление напряжением питания – это высоконадёжная система управления сигналами SpaceVPX I2C (рис. 13).

Рис. 12. Все линии reset, clock и обслуживающие сигналы (утилиты) проходят через модуль SpaceUM

Рис. 13. Все VPX–напряжения от источников питания проходят через модуль SpaceUM

Прямой Utility Control (без использования SpaceUM)

При прямом управлении служебными сигналами дополнительные сигналы reset, clock и обслуживающие сигналы (утилиты) идут прямо к Payload-модулям (разведены на кросс-плате) (рис. 14).

Управление напряжением питания осуществляется простой и надёжной подачей дифференциального дискретного или аналогового сигнала вкл/выкл, способного преодолеть большое расстояние.

Поддерживается переключение питания в блоке питания, на объединительной панели или в отдельном модуле. На рис. 15 дано сравнение топологий с использованием и без использования модулей SpaceUM. 

Разумный подход к совместимости

Одна из главных целей, стоявших перед разработчиками SpaceVPX, формулировалась так: достичь требующейся для космоса отказоустойчивости, по возможности, сохранив при этом разумную совместимость с OpenVPX. Именно исходя из соображений защиты от сбоев и был выбран модуль как минимальный элемент, на уровне которого реализуется резервирование в системах SpaceVPX. О разумной совместимости с OpenVPX на этом уровне авторы стандарта тоже не забыли. Основная их идея состояла в том, чтобы упростить проектирование компонентов систем SpaceVPX, опираясь на уже накопленный опыт разработок в соответствии с профилями OpenVPX. Не последнюю роль сыграла здравая мысль, что это позволит ещё и поднять ценовую конкурентоспособность проектных решений на базе SpaceVPX.

Рис. 14. Прямое управление служебными сигналами SpaceUM

Рис. 15. Сравнение топологий с использованием (слева) и без использования (справа) модулей SpaceUM

Геометрия модулей SpaceVPX опирается на стандарты OpenVPX и VITA 48.2. Это был осознанный шаг разработчиков – сделать так, чтобы модули OpenVPX подходили по размерам для систем SpaceVPX. «Космическая вариация» допускает применение плат 3U и 6U длиной 160, 220, 280 и 340 мм. Шаг слотов на объединительной плате может составлять 0,8", 1" или 1,2". В качестве принятого по умолчанию выбрано значение 1,2". Это связано с тем, что в системах SpaceVPX предполагается применение защищённых модулей с кондуктивным охлаждением, выполненных согласно спецификации VITA 48.2. И, соответственно, дополнительное пространство выделяется для устройств охлаждения и клиновидных фиксаторов, а также для других компонентов, которые могут размещаться с любой стороны от печатной платы.

Энергопотребление серийно выпускаемых модулей OpenVPX формфактора 6U в некоторых случаях может доходить до 500 Вт. Для SpaceVPX это неприемлемо, поскольку значительно превышает возможности нынешних кондуктивных систем охлаждения, которые могут использоваться в космических приложениях. Поэтому разработчикам предписано ограничивать потребляемую мощность модулей. Для типоразмера 6U верхняя планка расположена на уровне 100 Вт, при этом рекомендованный максимум – вдвое ниже. 

Рабочие напряжения 3,3 В, 5 В и 12 В, используемые в системах OpenVPX, сохранены и в SpaceVPX. Однако по части их применения введён ряд ограничений, учитывающих особенности проектирования модулей SpaceUM. Допустимые стандартные сочетания отражены в профилях подачи электропитания SpaceVPX. При этом предполагается, что в итоге не все они будут востребованы – практика внедрения SpaceVPX определит наиболее популярные варианты, а остальные будут отбракованы. 

Похожая ситуация сложилась и с системным разъёмом. Участники рабочей группы VITA 78 не смогли выработать общей рекомендации по этому вопросу и, указав в качестве причины недостаточную информированность, предоставили выбор инженерам, проектирующим системы SpaceVPX. Одна из предложенных опций – MultiGig RT 2-R компании TE Connectivity (до 2011 года – Tyco Electronics). Это усовершенствованный вариант оригинального коннектора VITA 46, рассчитанный на сверхжёсткие условия эксплуатации.

Рис. 16. Примеры сетевых резервируемых архитектур на базе SpaceWire 

В частности, чтобы повысить устойчивость к вибрационным нагрузкам, специалисты TE Connectivity модифицировали контактную систему разъёма, удвоив число контактных точек. В результате был успешно пройден уже ставший легендарным «пыточный тест» VITA. Кроме того, разъёмы Multigig RT 2-R отвечают строгим требованиям NASA относительно газовыделения. А отказ от покрытия контактов чистым оловом исключает рост так называемых «вискеров», несущих в себе очень опасную для космической электроники угрозу коротких замыканий.

Внеземные интерфейсы

Другим заметным отличием SpaceVPX от OpenVPX в плане обеспечения более высокой отказоустойчивости является окончательный уход от шинных топологий в коммуникационных подсистемах объединительной магистрали (см. пример. на рис. 16). Даже интерфейс системного управления, используя шинную технологию IPMB (Intelligent Platform Management Bus), реализован в SpaceVPX в радиальной топологии. А подсистемы передачи данных и управляющего трафика приложений могут быть выполнены как в виде коммутируемых структур, так и в топологии «каждый с каждым» (full mesh).

В результате SpaceVPX Control, Data, и Expansion Planes используют следующие коммункационные интерфейсы/протоколы, принятые VITA и другими организациями.

• PCI или cPCI, определён в PICMG 2.0, rev 3.0,

• Serial RapidIO (SRIO), определён в VITA 46.3,

• SpaceWire, определён в ECSS-ST-50-12C,

• Ethernet, определён в VITA 46.3, Section 5.1.

Пример на рис. 5 (слева) показывает, каким может быть распределение коммуникационных интерфейсов по группам контактов слота системного контроллера SpaceVPX. Роль  основной  среды  передачи данных Data Plane в системах SpaceVPX играет интерфейс RapidIO.

Основные особенности RapidIO:

• высокоскоростной последовательный интерфейс до 6,25 Гбит/с по одной линии,

• хорошая адаптируемость к гибкой сетевой топологии,

• масштабируемость количества узлов и пропускной способности,

• масштабируемость полосы пропускания,

• гибкость к выбору типа носителя,

• гибкость к типу передачи: multicast, broadcast или unicast,

• используется промышленный стандарт PHY (physical layer protocol), то есть протокол RapidIO «зашит в железе», благодаря чему достигается низкая задержка,

• обратная совместимость (версий протокола),

• эффективен (минимум накладных расходов),

• независим от среды передачи,

• надёжная передача пакетов как на уровне канала так и «точка-точка»,

• поддержка качества сервиса (QoS),

• cодержит счётчики производительности и функции диагностики.

Коммуникационная технология SpaceWire

Технологию SpaceWire, как менее скоростную, в типовых вариантах предлагается задействовать для передачи управляющего трафика приложений. А что-бы не слишком далеко уходить от стандарта OpenVPX, рекомендующего для этой цели использовать Ethernet, в «космической» спецификации регламентирована передача сигналов SpaceWire по линиям Ethernet.

SpaceWire — телекоммуникационная сеть для космических аппаратов, основанная на части стандарта соединения IEEE 1355. Координируется Европейским космическим агентством (ЕКА) в сотрудничестве с международными космическими агентствами, включая Роскосмос, NASA, JAXA. В сети SpaceWire узлы соединяются при помощи недорогих последовательных соединений типа «точка-точка», обладающих низкими задержками и работающих в дуплексном режиме, и коммутационными роутерами, осуществляющими маршрутизацию способом коммутации каналов (см. пример на рис. 17). SpaceWire охватывает два (физический и канальный) из семи уровней cетевой модели OSI для коммуникаций. 

Рис. 17. Примеры сетевых резервируемых архитектур на базе SpaceWire

Сеть SpaceWire разрабатывалась на основе стандартов IEEE1355-1995 и TIA/EIA-644 (LVDS) в соответствии с такими требованиями аэрокосмических применений, как:

• устойчивость к отказам и сбоям;

• высокие скорости передачи информации;

• малые задержки доставки сообщений;

• низкое энергопотребление;

• электромагнитная совместимость;

• поддержка систем реального времени и системных функций бортовых комплексов;

• компактная реализация в СБИС.

SpaceWire использует асинхронное соединение и обладает пропускной способностью на уровне от 2 Мбит/с до 400 Мбит/с.

В SpaceWire описывается модуляция, битовые форматы, маршрутизация, управление потоком и обнаружение и исправление ошибок на уровне оборудования лишь с небольшой помощью ПО. Также SpaceWire обладает очень низким уровнем ошибок, определением состояния системы, а также относительно простой цифровой электроникой.

SpaceWire и IEEE 1355 DS-DE предусматривают более широкий диапазон скоростей для передачи данных, а также некоторые новые возможности автоматического преодоления отказа. Возможности преодоления отказа позволяют данным найти альтернативные пути передачи, так как космический модуль оснащён несколькими шинами данных, в результате чего обеспечивается отказоустойчивость. Кроме того, SpaceWire предусматривает размножение временных прерываний по соединениям SpaceWire, устраняя потребность в отдельных временных дискретных сигналах.

Помимо основных, объединительная магистраль может также включать дополнительные линии передачи данных, обеспечивающие более тесное взаимодействие между модулями. В конкретику исполнения стандарт здесь не вмешивается. Это может быть RapidIO, SpaceWire, 10-Gigabit Ethernet, PCI Express или иной интерфейс по выбору пользователя.

Системное управление SpaceVPX

Основу интерфейса системного управления SpaceVPX в зависимости от поставленных перед разработчиком задач может составлять архитектура IPMI (спецификация VITA 46.11) либо специально разработанный упрощённый протокол DAP (Direct Access Protocol). Оба решения опираются на коммуникационную технологию I2C, используя одну и ту же структуру представления данных. Базовые функции системного управления SpaceVPX включают контроль подачи питания и сигналов сброса на каждый из используемых функциональных модулей, а также мониторинг их состояния. В дополнение к этому на уровне функциональных модулей могут также быть реализованы сбор данных телеметрии, контроль питания отдельных эле ментов, доступ к регистрам, памяти и т. д.

Новый тип модуля SpaceUM (Space Utility Management) был введён с целью обеспечить полно ценное дублирование подсистемы передачи служебных сигналов, а также интерфейсов системного управления и подачи электропитания на функциональные модули. Устройства SpaceUM содержат всю необходимую для этого логику, которую в противном случае пришлось бы как-то распределять между функциональными модулями и, возможно, объединительной платой. А это в любом варианте привело бы к существенно большему отдалению SpaceVPX от OpenVPX, чем изначально планировалось.

Стандартом определено, что один модуль SpaceUM способен обслуживать до восьми функциональных модулей. Всего в системе SpaceVPX может быть установлено до четырёх устройств SpaceUM.

SpaceVPX и CompactPCI

Учитывая ту популярность, которую в предыдущем десятилетии приобрела в космических проектах архитектура CompactPCI, разработчики SpaceVPX сохранили совместимость с функциональными модулями на базе этого стандарта (спецификация PICMG 2.0 ревизии 3.0). Правда, это касается только плат с 32-битным интерфейсом.

Как показали проведённые среди потенциальных заказчиков опросы, 64-разрядная версия CompactPCI не вызвала у них бурного энтузиазма.

Поэтому от неё с чистой совестью отказались. Зато в системах SpaceVPX поддерживаются мезонины PMC и XMC.

Заключение

Давно прошли те времена, когда архитектура VPX пугала разработчиков и пользователей многообразием открывающихся перед ними возможностей. Стандарт OpenVPX в сравнительно короткие сроки сформировал мощную экосистему современных серийно выпускаемых интероперабельных VPX-продуктов для широкого круга ответственных задач, а «космическая вариация» SpaceVPX, можно сказать, проложила для этой экосистемы колею к стартовым комплексам космодромов.

Колея не простаивает – движение по ней уже началось. После недавней ратификации международного стандарта VITA 78 интерес к применению SpaceVPX в космических приложениях заметно вырос во всём мире, в том числе – в Европе и в Азии. Поэтому сегодня и в обозримом будущем реализация систем на базе данного стандарта представляется одним из наиболее перспективных направлений развития космической электроники и связанных с ней проектов.