Ozon разработал собственный инструмент для генерации и редактирования фона на изображении товаров, который работает с помощью алгоритмов машинного обучения.
По прогнозам экспертов, число предприятий, использующих отечественные решения, возрастет до 80% к концу 2024 г.
Возможности «Интернета вещей» (Internet of Things, IoT) и цифровизации позволяют людям, работающим на производствах, более эффективно решать проблемы с помощью таких современных технологий, как дополненная, смешанная и виртуальная реальность.
Во время всех промышленных революций главными факторами реалий для рабочих всегда выступали те или иные инструменты и машины. Однако совсем недавно с помощью устройств и подходов «Интернета вещей» стало возможным оцифровать значительную часть окружающей рабочего реальности. То есть реализовать то, что сейчас принято называть цифровизацией. В 2015 г. Хеннинг Кагерманн (Henning Kagerman), бывший генеральный директор SAP AG (немецкая компания, производитель программного обеспечения для организаций), утверждал, что «цифровизация, как продолжающееся сближение реального и виртуального миров, станет основной движущей силой инноваций и изменений во всех секторах нашей экономики» [1].
Создание цифровых потоков дает информацию, которая может быть выражена различными способами и передана на множестве различных типов носителей и в самых разнообразных системах [2].
К таким технологиям представления реальности относятся технологии, известные как расширенная реальность (eXtended Reality, XR), дополненная реальность (augmented reality, AR), смешанная реальность (mixed reality, MR) и виртуальная реальность (virtual reality, VR), и более зрелые и признанные технологии — смартфоны, планшеты и ПК с плоскими экранами. В сочетании с IoT, аналитикой и искусственным интеллектом (ИИ) можно создавать приложения, помогающие рабочим и персоналу предприятий в целом, делая окружающие их реальности более интеллектуальными и создавая основу того, что мы можем уже смело назвать интеллектуальной реальностью.
Интеллектуальная реальность определяется как технологически улучшенная реальность, которая помогает человеческим когнитивным действиям и принятию тех или иных решений. По сравнению с базовой (реальной) реальностью интеллектуальная реальность может иметь гораздо большую размерность, уменьшенную окклюзию (под этим термином подразумевается какое-либо состояние, которое обычно открыто, а в определенный момент времени полностью закрыто, в рассматриваемом контексте — это «знал, но забыл»). Интеллектуальная реальность не зависит от расстояния, обеспечивая тем самым оптимальное руководство и улучшенную связь с другими субъектами предпринимательской деятельности в рамках предприятия. Хотя здесь можно было бы (и это вполне целесообразно) рассмотреть область финансов и кибербезопасности, но в этой статье основное внимание уделяется интеллектуальным реальностям, основанным на физических реальностях и движущих силах IoT применительно к процессу производства физического продукта (рис. 1).
Рис. 1. Представление взаимодействия устройства и реальности показывает, как реальность может включать физические и абстрактные данные, например реальные машинные данные и данные, сформированные той или иной реальностью.
Изображение предоставлено компанией Industrial Internet Consortium
В качестве иллюстрации можно, например, представить, как было бы здорово, если бы техник смотрел на машину, используя устанавливаемый на голове дисплей (head mounted display, HMD) с функцией дополненной реальности, благодаря чему он мог бы просматривать историю обслуживания этой машины с прогнозированием возможных ее отказов для данного производственного или будущего технологического процесса. Это дает работнику «видеть» четвертое измерение, время, — в будущее и прошлое. Вместо того чтобы разбирать машину, рабочий, благодаря уже функции смешанной реальности, может использовать визуализацию, управляемую IoT, спроецированную непосредственно на внешний корпус машины. Отводя взгляд от машины, технический специалист может увидеть виртуальную визуализацию операций машины того же типа в каком-нибудь отдаленном месте.
Заглянем дальше — технический специалист сможет взаимодействовать с ИИ и удаленными экспертами, более квалифицированными или узкими специалистами, и обсуждать с ними те или иные шаги и при этом использовать возможности экспертов, управляющих виртуальными наложениями дополненной реальности. Сотрудник может общаться с нужными системами управления через тот же установленный на голове дисплей, без помощи телефона (смартфона) или ноутбука. Как носимый компьютер, такой шлем с дисплеем дает возможность вносить отдаленные ресурсы в операционную реальность рабочего или обслуживающего оборудование персонала.
Интеллектуальная реальность, как и заводское цеховое оборудование, может находиться рядом с рабочим. При этом сам завод может располагаться хоть в другой части земного шара, но пользователь хорошо ориентируется в ситуации благодаря 3D-моделированию этого предприятия. Здесь могут быть задействованы, но необязательно на все 100%, гарнитуры дополненной или виртуальной реальности. Однако, по нашему убеждению, лучший вариант на рабочем месте — смартфоны или плоские экраны с компьютерами. Сотрудники могут быть мобильными и использовать шлемы дополненной реальности или смартфоны. Они также могут находиться в диспетчерской или в центре управления, расположенном в головном офисе компании. Важно, что они могут наблюдать за реальной реальностью в режиме реального времени или выполнять обзор и анализ прошедшего события на основе полученных данных. Во всех случаях контекст доминирует визуально и в дизайне презентации.
Сегодня интеллектуальная реальность может быть достигнута с помощью уже готовых и коммерчески доступных технологий, охватывающих IoT, — это аналитика, технологии расширенной реальности и более традиционные технологии пользовательского интерфейса. Это поможет лицам, принимающим решения, и архитекторам, не отходя от своего рабочего места, «перемещаться» по обширной территории, где находится то или иное производственное оборудование и технологические линии, и создавать для персонала предприятия новые интеллектуальные реальности.
Сравнение пространства смешанной реальности с более традиционными мобильными и настольными плоскими экранами приводит нас к рассмотрению архитектуры интеллектуальной реальности и разработке приложений интеллектуальной реальности. Затем конкретные варианты использования предлагают комбинации технологий представления реальности с IoT и ИИ.
В 1995 году Пол Милграм (Paul Milgram, University of Toronto, Канада) и его коллега Фумио Кисино (Fumio Kishino, ATR Communication Systems Research Laboratories, Япония) опубликовали статью «A Taxonomy of Mixed Reality Visual Displays» («Таксономия смешанной реальности визуальных дисплеев») [4], в которой был представлен постепенный процесс развития связки реальности и виртуальности. В нашей статье мы будем обсуждать текущее состояние в области смешанной реальности и роль мобильных и стационарных плоских экранов.
Благодаря смешанной реальности пользователь, начиная с обычного просмотра физического окружения, может перейти к его полностью цифровому представлению. Смешанная реальность находится здесь между двумя крайностями. Она представляет собой смешение физической реальности пользователя с одной или несколькими цифровыми реальностями. Смешанная реальность предполагает, что устройство на основе технологии дополненной реальности способно стереоскопически воспроизводить динамические трехмерные сцены поверх физического представления из реального мира (рис. 2).
Рис. 2. Архитектура программного обеспечения для тренеров по шахматам с дополненной реальностью показывает, как дополненная реальность может предоставить обучающие знания и ускорить процесс обучения.
Примечание. Нотация Форсайта — Эдвардса (англ. Forsyth–Edwards Notation, FEN) — стандартная нотация записи шахматных диаграмм. Предложена в 1883 году шотландским шахматистом Д. Форсайтом и позже доработана программистом С. Эдвардсом
Виртуальная среда, в силу самой природы этой технологии, является цифровой, но не обязательно иммерсивной, то есть многонаправленной. Варианты включают погружение в виртуальную реальность через шлемы и отдельные большие плоские экраны. Главное здесь заключается в том, что шлемы виртуальной реальности и виртуальные среды, отображаемые на плоских экранах, могут предоставить пользователю динамическую трехмерную визуализацию удаленной или абстрактной трехмерной реальной реальности в реальном времени.
Что касается дополненной реальности, она не исключает и мобильные плоские экраны. В 1995 г. терминов «смартфон» и «планшет» не существовало, но Милгрэм и другие описали мониторные (не иммерсивные) традиционные на то время видеодисплеи, или дисплеи, названные ими «окно в мир» (для этого ими была использована идиома window-on-the-world, то есть «знакомящее с другими странами или мирами»), на которые сгенерированные компьютером изображения накладываются электронным или цифровым образом.
Архитектура для разумной реальности должна сосредоточиться на содействии познанию и повышению производительности труда персонала предприятия. Для сотрудников, работающих в реальности с поддержкой IoT, краеугольным камнем архитектуры интеллектуальной реальности становится интеграция и осмысление необработанных данных, поступающих от тех или иных «вещей». Архитектурный взгляд на технологии представления реальности для принятия лучших тактических решений пользовательского интерфейса «последней мили» с визуализацией производственных и технологических процессов может быть представлен именно с учетом этих данных и выбранной для них аналитической основы. И он должен быть представлен не в общем, а уже в конкретном виде для производственных рабочих и обслуживающего оборудование технического персонала.
Для восприятия ситуации в реальном времени необходим действующий механизм потоковой аналитики в виде больших данных [5]. Сложность здесь заключается в том, что механизм такой потоковой аналитики должен анализировать массивы данных в движении по мере прохождения частичек, буквально — атомов, событий, движущихся непрерывным потоком. Помимо применения аналитических методов, этот механизм (естественно, если он выбран правильно) может предоставить выводы, полученные из моделей, созданных на основе машинного обучения (machine learning, ML), и внести уже свой вклад в обучение таких моделей (рис. 3).
Рис. 3. Три технологии расширенной реальности, такие как дополненная реальность, смешанная реальность и виртуальная реальность, и модели в виде цифровых двойников могут повысить ценность активов в производственной сфере
В дополнение к немедленному представлению анализируемые потоки данных могут передаваться в хранилища данных для дальнейшего анализа и последующего представления. Хотя проблемы больших данных, относящиеся к IoT и описанные Лаурой Белли (Laura Belli, Università di Parm, Италия) и другими авторами в работе «A Scalable Big Stream Cloud Architecture for the Internet of Things» («Масштабируемая облачная архитектура большого потока данных для «Интернета вещей») [6], безусловно, требуют своего решения, они не являются уникальными и недостижимыми для реальных приложений. Приложения той или иной реальности могут быть объединены в сеть и соответствовать традиционной архитектуре «клиент-сервер» для запросов и отчетов. Как отмечалось в еще одной статье, опубликованной как рабочий документ конференции-семинара по иммерсивной аналитике, прошедшего в 2016 году в Гринвилде (Южная Каролина, США), — «Immersive Analytics: Building Virtual Data Worlds for Collaborative Decision Support» («Иммерсивная аналитика: создание виртуальных миров данных для совместной поддержки принятия решений») [7], традиционная двумерная визуализация данных может успешно работать через продолжение связки «реальность-виртуальность».
Интеллектуальную реальность, касательно ее взаимосвязи с пользователем, позволили реализовать носимые и портативные компьютеры, в том числе шлемы смешанной реальности и смартфоны, а также высокопроизводительная графика, способная точно отображать реальность. Хотя шлемы с дисплеями представляют собой несомненно важный сдвиг в компьютеризации реальной реальности, они все еще являются носимыми устройствами, что не всегда приемлемо для целого ряда пользователей и применения на промышленных предприятиях. Следующая предлагаемая архитектурная идея направлена на то, чтобы минимизировать необходимость использования в архитектуре интеллектуальной реальности громоздких (как для производственной сферы) шлемов с дисплеями представления сгенерированной той или иной реальности.
Общая концепция реальности включает физические и абстрактные реальности. Машина — это физическая реальность, а цепочка поставок, которая создала машину, — абстрактная реальность, полученная из данных. Реальности данных, в лучшем случае абстрактные, могут быть отделены от любой физической реальности. Прямая трансляция данных с товарного рынка может сформировать реальность данных, которую, в свою очередь, может изучить пользователь виртуальной реальности.
Из-за прозрачной природы устройств дополненной реальности непосредственная физическая реальность является ее частью. Если же речь идет о варианте использования, который не имеет ничего общего с непосредственной физической реальностью — например, независимым отображением трехмерной модели цепочки поставок, то в этом случае разработчик может выбрать для ее реализации технологию смешанной реальности. Пользователи могут предпочесть именно такой вариант, а не реализацию на основе виртуальной реальности, потому что здесь все же важно знать физическое окружение. При этом, собственно, программная реализация смешанной реальности может быть удаленной или локальной.
Хороший цифровой двойник берет информацию о конструктивном решении продукта, его изготовлении и сроке службы оборудования как производственного актива, виртуализируя его в цифровой актив. Цифровой двойник может быть протестирован и модифицирован таким образом, как это никогда бы не происходило с действующим физическим активом. Например, вместо одного дорогостоящего краш-теста автомобиля практически могут быть выполнены миллионы разных аварий. Вместо нескольких кругов по тестовой трассе автомобиль может фактически проехать миллионы миль за несколько испытаний, с разной историей его обслуживания. Такие тесты имеет смысл использовать для формирования нейронных сетей на основе машинного обучения, которые затем запрашиваются при обслуживании уже реального актива.
С приложением интеллектуальной реальности цифровой двойник может быть наложен на своего физического «брата». Когда автобус въезжает в гараж, управляющий автопарком может рассматривать важные выходные данные цифрового двойника автобуса как наложение дополненной реальности. Например, система выдает предупреждение, поскольку для данного автобуса просрочена крайняя дата замены масла. Однако настоящая сила и преимущества цифрового двойника заключаются в более тонких случаях, которые не являются простыми нарушениями установленных одномерных правил. Возможно, шина находится в пределах допустимых диапазонов по нескольким аспектам технического обслуживания, но цифровой двойник видит, что комбинация близких нарушений значительно увеличивает риск критического отказа. Устройство дополненной реальности передает эту информацию менеджеру, который в свою очередь принимает необходимое решение и действует соответствующим образом.
Когда на предприятии для его персонала развертывается тысяча шлемов дополненной реальности, на них устанавливают по крайней мере тысячу видеокамер. Эти камеры весьма удачно расположены и могут использоваться, чтобы обеспечить богатый набор видеоконтента, который передается на компьютер, а затем на модели машинного обучения и другие аналитические модели. Кроме того, шлемы реальности могут посылать не только видео, но и точную информацию о местоположении и даже об ориентации головы пользователя (рис. 4).
Рис. 4. При реагировании на чрезвычайные ситуации в «умном городе» могут использоваться такие технологии расширенной реальности, как дополненная реальность, смешанная реальность и виртуальная реальность, и потоковая аналитика
На производстве рабочее место с поддержкой дополненной реальности может генерировать уже обученные модели, полученные на основе машинного обучения, с учетом положения головы, направления взгляда, размещения компонентов в рабочем пространстве и соответствующих им результатов качества. Такая модель может выявлять даже небольшие движения и особенности выполнения операций, которые приводят к снижению качества и падению производительности, и на этой основе предлагать лучшие варианты. Причем делать это сразу, непосредственно через шлем. Такое обучение может быть использовано в том, что мы назвали интеллектуальной реальностью для производственного рабочего.
Хотя виртуальная реальность не предлагает такой же связи с физическим миром, как рассмотренные нами дополненная и смешанная реальности, шлем виртуальной реальности может сообщать о местоположении и ориентации головы работника. Отслеживание движения глаз также превращает его в продукт уже расширенной реальности. При этом полученная информация может использоваться для совершенствования симуляции и лучшего понимания того, как люди будут реагировать в физическом аналоге виртуальной среды в условиях реальной реальности.
По мере того как буквально напичканные самыми разнообразными датчиками производственные мощности становятся все умнее, для помощи в техническом обслуживании этих «умных» объектов могут быть разработаны их цифровые двойники. В идеале такой цифровой двойник для объекта должен включать операционные модели поведения всех используемых на нем машин и оборудования, предоставленных их производителями. Когда производители устанавливают машины, которые сами «звонят домой», передавая оперативные данные, то для них, применяя еще и машинное обучение, можно создать вполне надежный цифровой двойник, основанный на многих вероятностных процессах, сопровождающих реальное производство.
Отдельный объект может объединять цифровые двойники машин и оборудования в составной цифровой двойник для всего объекта. Цифровой двойник объекта также будет учитывать планы зданий, например чертежи автоматизированного проектирования (САПР), и включать их все в проект своеобразного игрового движка, который охватывает доступные модели. Приложение в виде такого игрового движка (app, т. е. мобильное приложение) позволяет пользователю применять цифровой двойник для дополненной или виртуальной реальности.
Для выполнения работ по техническому обслуживанию цифровой двойник представляет собой весьма мощный актив. Эксперт в виде ИИ может либо полностью заменить человека-эксперта, либо, что пока более вероятно, значительно помочь человеку-эксперту.
Для специалиста, работающего непосредственно в местах эксплуатации машины или оборудования, портативный компьютер или такой девайс, как смартфон или планшет с приложением дополненной реальности, пока еще остается верным выбором, но устройство в виде шлема с дисплеем здесь более приемлемо, чем в предыдущем примере. Для многих техников, работающих на местах эксплуатации, то есть в полевых условиях, предпочтительно иметь незанятые руки (здесь используется технология Hands Freе, с англ. «свободные руки» — система, позволяющая говорить и управлять, например, телефоном), и это вполне может оправдать вложения в шлем с дисплеем дополненной реальности. Так, техник систем отопления, вентиляции и кондиционирования воздуха может войти в машинное отделение и починить воздухопровод или сделать профилактику, не обращаясь к руководству и не занимая руки планшетом или смартфоном. Причем он может сделать это, даже не имея заранее подготовленного перечня работ по обслуживанию системы. Перед отъездом с места техника, опять-таки через шлем, например, можно направить решать ряд других вопросов, чтобы ему не пришлось снова возвращаться на место обслуживания оборудования. Это экономит и время, и деньги.
Объединение расширенной реальности, ИИ и «Интернета вещей» должно привести к большему проникновению науки о данных в сферу производительного труда. Когда эти технологии внедряют сюда аналитику, на предприятии можно достичь не только существенной экономии средств, но и существенного улучшения самого производства, выведя его на новый уровень интеллектуальности.
Идея расширенной реальности позволяет устройствам оцифровывать реальную реальность работника, чтобы по-новому взглянуть на окружающий мир и помочь найти решения, которых они не могут найти в «реальном» мире.
Архитектура интеллектуальной реальности должна быть сосредоточена на содействии познанию и производительности работника.
В совокупности расширенная реальность, ИИ и «Интернет вещей» могут повысить эффективность производства и обеспечить новые решения старых проблем.
Real Reality (RR) — реальная реальность, является видом субъективной реальности, а именно такой, при которой образы, возникающие в сознании человека, становятся результатом восприятия им объектов и процессов физического мира.
Virtual Reality (VR) — виртуальная реальность, основана на создании компьютерных звуков и изображений. Она полностью отделяет пользователя от реальной реальности (Real Reality, RR).
Augmented Reality (AR) — дополненная реальность, представляет собой компьютерно-опосредованную реальность, где реальная реальность дополняется с помощью виртуальных изображений. Цель дополненной реальности — усилить восприятие реальной реальности. В этом ее отличие от виртуальной реальности, заменяющей реальность симуляцией.
Mixed Reality (MR) — смешанная реальность, объединяет реальные и виртуальные элементы, которые сосуществуют и взаимодействуют в реальной реальности. В смешанной реальности используют дополненную реальность и дополненную виртуальность. Термин Mixed Reality изобрели в Microsoft 16 лет назад. Иногда такую реальность называют гибридной (Hybrid Reality).
Augmented Virtuality (AV) — дополненная виртуальность, компьютерная симуляция, в которой присутствуют элементы реального мира.
Extended Reality (XR) — расширенная реальность, объединяет реальные и виртуальные реальности: дополненную реальность, дополненную виртуальность (AV), виртуальную реальность (VR) и другие. Расширенная реальность — это спектр явлений и разработок от «полного реального» до «полного виртуального».
