On the Selection of Models, Means for a Mixed Reality Vehicle Simulator

Сейчас за рубежом уделяется большое внимание использованию смешанной реальности (MR) для ускорения создания автомобиля на основе методов полунатурного имитационного моделирования

Основное внимание за рубежом в MR направлено на изучение поведения водителя в дороге, реакцию его на критические ситуации, проработку эргономики. Вибростенд при этом почему-то не используется, хотя это существенный фактор. Также из публикаций 2018–2022 гг. не видно, что они проводят исследования движения, колебаний, необходимые для определения долговечности и других параметров. А это ключевые задачи, которые следовало бы реализовывать при MR.

Рисунок 1 - Использование смешанной реальности в Unreal Engine в игре Euro Truck Simulator (а) и фирмами BMW (б, в, г), Ford (д), Mercedes Benz (е)

DOI:10.18454/itech.2024.1.2.1

Ведущие фирмы сочетают использование различных пакетов и шлемов. Volvo первоначально ориентировалась на пакет Unity со шлемом Meta Oculus Quest и 3D max. Сейчас Volvo начала использовать шлемы финской фирмы Varjo XR-3/VR-3 и его программного обеспечения в сочетании с движком Unity

[5]

,

[6]

. Ford, Мерседес Бенц для задач VR, AR (диллеровских, презентаций, сервиса) используют шлемы Microsoft HoloLens, сотрудничают с фирмой Microsoft, а для MR HTC. Мерседес Бенц имеет центр по обучению VR, AR, через который прошли 800 сотрудников компании по всему миру.

Для исследовательских целей больше используются шлемы HTC Vive Pro со станциями позиционирования и трекерами. У шлемов Meta Oculus Quest последних нет.

Сейчас задачи смешанной реальности значительно расширились. Они включают помимо рекламных, дилеровских задач, дизайна (на что больше сконцентрировано внимание) еще и моделирование движения, колебаний и управляемости автомобиля, проработку его эргономики, определение режима движения, нагрузок на его узлы, использование полученных данных при расчетах и стендовых испытаниях. Необходима комплексная реализация всего этого.

Целью данной работы является рассмотрение выбора моделей, программных и технических средств для создания симулятора с использованием смешанной реальности.

Необходимость такой работы обусловлена отсутствием серьезных публикаций по этому направлению в MR. В основном информация по MR в интернете носит общий, поверхностный характер, нет ни моделей, схем, решений указанных выше задач.

Рассмотренные ниже решения базируются на исследованиях автора по имитационному моделированию автомобиля, включая MR в Simulink в режиме реального времени

2.1. Использование пакета моделирования

Ключевым моментом при выборе пакета является обеспечение высокого быстродействия, необходимого функционала и удобство программирования. Для моделирования движения, колебания и управляемости автомобиля в режиме реального времени наиболее подходит использование пакета Matlab/Simulink версий R2015b, R2023 с S-Function Builder, как наиболее быстродействующих и имеющих возможность создания встроенной программы на языке С и массивов данных

В отношении SiminTech

Из-за отсутствия SiminTech сделать окончательные выводы по нему пока не представляется возможным. В связи с чем в работе рассматривается Matlab/Simulink.

2.2. Модели автомобиля

При выборе моделей для совместного моделирования численными методами (8–12 порядка) в Simulink в режиме реального времени движения, колебания (в полосе 0-25 Гц,шаг 0,001 с) и управляемости автомобиля вынуждены исходить из ограниченных возможностей существующих пакетов и компьютеров с процессорами 4–5 ГГц. На них могут быть реализованы только системы с плоскими моделями (рис. 2) с использованием сложных моделей трения с приемлемой сходимостью 10–15%

При применении пространственных моделей (рис.3), имеющих большее количество масс, элементов, как и модели плоского автопоезда, просто не удастся реализовать режим реального времени из-за недостаточного быстродействия компьютеров и используемых решений

[10]

.

Рисунок 2 - Плоские модели, используемые при моделировании на симуляторе

DOI:10.18454/itech.2024.1.2.2

Рисунок 3 - Пространственная модель 6×6, используемая при моделировании на симуляторе

DOI:10.18454/itech.2024.1.2.3

Возможным решением этой проблемы было бы распараллеливание вычислений подсистем по ядрам процессора в Simulink R2023

[12]

либо путем интеграции двух компьютеров на базе твердотельных накопителей .M2 (>6000 МГц) и обменом бинарными файлами от подсистем в быстродействующей сети (X4 DDR (20Gb/s)).

2.3. Использование реального макро и микропрофиля дороги

Для получения корректных результатов при моделировании важно использование реального макро и микропрофиля дороги в виде совместного массива данных, заданного по точкам с шагом 0,1–0,15 м, размещенного в оперативной памяти модуля S-Function Builder в Simulink (96000 точек пути, 12500 м дороги) с интерполяцией промежуточных точек по методу Catmull-Rom, с возможностью дополнительной подкачки и вести моделирование с переменной скоростью движения, как это сделано автором в работах

2.4. Использование корректных характеристик элементов подвески, трансмиссии

Важным является использование более корректных характеристик элементов подвески, трансмиссии и их моделей

где cр.ст, – жесткость рессоры в статике;

cр.дин1, cр.дин2 – жесткость рессоры при блокировке подвески;

Fтр, Fтр2, – величина усилия при трении 1, 2,

Fр1max, Fр2max – максимальная величина трения 1, 2;

kв.тр – коэффициент «вязкого» трения;

Fам – максимальная величина «вязкого» трения.

Применение модели «вязкого» трения и упругой характеристики рессоры в виде простой зависимости Fр = f (Δl) приводит к погрешности 30–50%, а линейных до 200%.

Для смешанной реальности требуются 3D модели внутренней передней части кабины, руля, которые должны накладываться с помощью приложения MR на изображение дорожной обстановки в шлеме.

2.5. Разнесение вычислений на компьютеры

Необходимость разнесения вычислений на компьютеры обусловлено тем, что существующие компьютеры сейчас достигли своего потолка производительности 5/6 ГГц и требуется компенсировать потери производительности из-за передачи информации на стенды по сети CAN BUS. Использование оперативной памяти DDR5 (>6000 МГц), жидкостного охлаждения процессоров с разгоном их до 5 ГГц позволяет повысить производительность новых компьютеров всего на 20–25%.

Поэтому более лучшим решением является разнесения вычислений по подсистемам и реализации визуализации на отдельные компьютеры, чтобы реализовать режим реального времени и охватить разные подсистемы, А для обмена данными между ними использовать сеть CAN BUS (как наиболее быстродействующую), позволяющую адресно направлять и обмениваться информацией, а для обмена с Raspberry использовать сеть Samba. Тем более, что уже имеются адаптеры с частотой до 10 Мбит/с, а также можно использовать предложенный в этой работе и

Возможен вариант использования двух компьютеров с твердотельными накопителями .M2 (>6000 МГц), объединенных быстродействующей сетью (X4 DDR (20Gb/s) и обменом в ней бинарными файлами подсистем.

2.6. Создание визуализации имитационной обстановки и звука

Для визуализации имитационной обстановки в пакетах Unity и Unreal Engine, используется создание сцены с участием актеров, в данном случае водителя, пешеходов, дороги и других машин. В качестве сцены используется ландшафт изменяемой местности, где методом вытягивания участка (без задания физических значений) можно создать возвышенности, низины, горы через них проложить дорогу, вокруг их расставить деревья, здания и другие объекты тем самым реализовать обстановку. Либо использовать готовые шаблоны. Далее создать 3D модель автомобиля, конвертировать ее в формат Unreal Engine или Unity, разместить ее на трассе, расположить в нем человека, камеру показа в объекте и путем установки связей и настройки визуальных компонентов активизировать их действия управления автомобилем. Дополнительно помимо визуальных требуется программирование компонентов в MS Visual Studio на C/C++, включая снятие информации с АЦП рулевого колеса, педалей газа, тормоза, рычага переключения КПП. Примеры использования MR приведены на рис. 4.

Рисунок 4 - Использование фирмами BMW (а), Volvo (б, в) смешанной реальности

DOI:10.18454/itech.2024.1.2.4

На рис. 4а показано использование фирмой BMW смешанной реальности при проведении исследований автомобиля в городских условиях в пакете Unreal Engine

[4]

,

[5]

с использованием типового контента пакета без учета микропрофиля дороги: на видео идеально ровная дорога. Из видео следует, что как такового осуществления колебаний на симуляторах BMW, а также Volvo вообще нет. Их симуляторы c MR не имеют вибростендов. Возможно это связано со сложностью реализации этого, неактуальностью за рубежом вибрации на хороших дорогах. Хотя ранее на симуляторах с движущей платформой это реализовывалось

[10]

.

В пакетах Unity и Unreal Engine упрощенно реализуется имитация перемещения через визуализацию обстановки. В пакете Unreal Engine можно задать внешнюю характеристику двигателя, однако при этом не учитывается трансмиссия поскольку он ориентирован на игры. Чтобы подключить органы управления требуется написать программы на C# или C/C++ с задействованием датчиков, АЦП.

Volvo в сотрудничестве с финской фирмой Varjo создала недвижущийся симулятор вождения (рис. 4б, the ultimate driving simulator) на базе игрового движка Unity, шлема дополненной/смешанной реальности Varjo XR-3 и британского тактильного костюма Teslasuit с обратной связью

БелАЗ, единственный из заводов СНГ, использует виртуальную, дополненную и смешанную реальность с помощью Unity, Meta Oculus Quest и 3D max в своих разработках. Имеет симулятор: стенд с мониторами для обучения водителей навыкам управления карьерными самосвалами, созданный с использованием смешанной реальности. Но он не подходит для исследовательских целей из-за недостаточного быстродействия имитатора перемещений и невозможности интегрировать его с Simulink.

По субъективной оценке автора, сидевшего на простых симуляторах, включая игровые с низкой скоростью перемещения 0,3–0,5 м/с, они не дают реального ощущения движения и колебаний. Это же можно сказать о симуляторах MR ведущих автомобильных фирм, в которых нет движения и колебаний.

Следует отметить, что в упомянутых пакетах MR нет возможности задания продольного и микропрофиля дороги и синхронизации их с дорожной обстановкой, что необходимо для комплексного моделирования автомобиля.

Важным моментом является выбор одного языка программирования: C# либо C/C++. Лучше ориентироваться на C/C++ и Unreal Engine. Последний мощнее чем Unity. C/C++ используется в системе: в АЦП, микроконтроллерах, миникомпьютерах и в S-Function Builder, SiminTech (DLL). И по быстродействию программы на C/C++ в два раза быстрее чем C#, что важно для Real-Time, учитывая, что компьютеры и пакеты и так работают на пределе своих возможностей.

Другим вариантом визуализации дорожной обстановки является предложенный автором способ записи видео дорожной обстановки при постоянной скорости движения автомобиля по дороге с последующим воспроизведение этого видео с помощью разработанных программ на компьютере и шлеме пропорционально скорости движения при моделировании в Simulink

Для имитирования звука предложено использование блоков записей коротких файлов звука двигателя при фиксированных оборотах на реальном автомобиле, которые воспроизводятся в разработанной программе на C/C++ в зависимости оборотов и мощности двигателя. Управляющая информация для программы, реализующей звучания двигателя, берется из бинарного файла обмена S-function Builder Simulink.

Для полноценного моделирования MR необходимо применение вибростенда (рис. 5) со шлемом VR. В качестве стенда целесообразно использование конструктивной схемы 6DoF платформы на электроактуаторах без гидравлики, используемой в симуляторах для игр, которые позволяют воспроизводить вибрации в полосе до 10–12 Гц с учетом спектра ТС и организацией моделирования по схеме рисунка 6. Однако использовать игровые симуляторы в чистом виде из-за их ПО и невысокого быстродействия не представляется возможным.

Рисунок 5 - Конструкция игрового японского стенда, подходящая для MR

DOI:10.18454/itech.2024.1.2.5

Рисунок 6 - Схема реализации моделирования со смешанной реальностью

DOI:10.18454/itech.2024.1.2.6

Для обмена информацией между компьютерами и передачи сигналов с Simulink на вибростенд целесообразно использование сети CAN BUS, как наиболее быстродействующую (1–10 Мб/с) и адресную

[10]

. Актуаторы MOOG, Parker имеют интерфейс для CAN BUS. Дополнительно необходимо использовать предложенный в работе

[10]

способ сжатия информации и повышения скорости обмена в сети CAN BUS в 2 раза за счет побайтного занесения двух значений float в поле данных с использованием одинаковых значений идентификаторов объектов управления для двух цилиндров и последующего их разделения в программе микроконтроллеров актуаторов.

Проведенным выше моделированием движения и колебаний на 3-х компьютерах с имитацией обмена по сети CAN BUS по схеме рис. 6 установлено, что электроактуаторы должны обеспечивать скорость перемещения 1,3–1,5 м/с

Важным моментом предлагаемого схемного решения моделирования в MR является необходимость разнесение вычислений на компьютеры, чтобы реализовать режим реального времени и охватить разные подсистемы. А с помощью миникомпьютера Raspberry и АЦП осуществлять снятие информации с органов управления и передачу ее по сети Samba на компьютеры (рис. 6).

Дополнительно целесообразно осуществить распараллеливание вычисление подпрограмм по ядрам процессора в Simulink R2023

[12]

. При распараллеливании по ядрам модель подрессоривания двухосного и трехосного автомобилей целесообразно представить в виде отдельных частей передней и задней подвески с осуществлением их взаимного воздействия через массу связи m3 (рис. 7).

Рисунок 7 - Модель раздельного подрессоривания автомобиля

DOI:10.18454/itech.2024.1.2.7

Данное решение для моделирования колебаний двухосного автомобиля ранее предлагалось в 1970 гг. в работе

[14]

. Значения масс согласно преобразованиям этой работы определяются следующим образом:

где p, mа – радиус момента инерции подрессоренной массы автомобиля,

l1, l2 – расстояние от центра тяжести, L – база автомобиля; ,  – ускорения передней и задней подвески, Fп1, Fп2 – усилия передней и задней подвески.

Это позволяет разнести вычисления по ядрам процессора частей подрессоренных масс и тем самым повысить быстродействие.

Для реализации смешанной реальности предлагается следующая блок-схема моделирования движения, колебаний и управляемости автомобиля приведенная на рис. 8 с визуализацией и звуком на основе управляемого сигнала по скорости движения.

В предлагаемой системе задействуется рабочее место водителя с использованием датчиков педалей газа, управления КПП (селекторного переключателя), поворота руля на основе потенциометров, с которых снимается электрический сигнал и подается через АЦП в Raspberry 3/4, а из него записывается в файл обмена с Simulink и эти данные используются в процессе моделирования.

В блок-схеме учитываются частичные характеристики двигателя, определяется расход топлива и вибрации автомобиля. Использование вибраций позволяет выйти на оценку долговечности узлов.

Рисунок 8 - Блок-схема реализации имитационного моделирования с MR в Simulink

DOI:10.18454/itech.2024.1.2.8

В связи необходимости реализации режима реального времени требуется использование высокопроизводительных компьютеров поскольку при использовании CAN BUS происходит снижение производительности системы в 1,5 раза

Исходя из этого предлагается следующая конфигурация технических средств: – процессор серии Ryzen 7000 (7950X/7600X (5,7/4,7 ГГц), обеспечивающий более высокую производительность в играх в Unreal Engine на 35-53% чем у Intel Core i9-12900K (5,2/3,2 ГГц), материнская плата ASUS ROG Strix X670E-E Gaming WiFi либо ASRock X670E Taichi, 32/64 Гбайт памяти DDR5 G.Skill, водоблок EK-Quantum Velocity2 AM5.

Другим вариантом является использование процессоров Intel Core i9-14900К (6/4,4 ГГц) с соответствующими им платами, которые сейчас появятся на рынке.

В качестве очков AR/MR реальности рекомендуется HTC Vivo Pro 2/3 со станциями позиционирования и трекерами c созданием приложений по отслеживанию движения рук в VIVEPORT SDK 1.7.20 (на C/C++).

При использовании AR/MR на компьютерах в связи возросшими параметрами шлемов по video (> 5К на глаз) требуется использование более производительной видеокарты не ниже GIGABYTE NVIDIA GeForce RTX 3080 10-16 ГБ либо Intel Arc A770.

1. На основе исследований автора и анализа применяемых пакетов для MR, моделей движения, колебаний и управляемости, определены требования к ним при использовании смешанной реальности при моделировании автомобиля. Наиболее оптимальным вариантом является моделирование в Simulink c S-Function Builder с организацией сети с помощью Samba и CAN BUS и задействованием вибростенда на основе 6-DoF платформы на электроактуаторах MOOG или Parker. Путем моделирования определены необходимые параметры: по перемещениям, скорости и подобраны модели этих актуаторов. Предложены схемные решения и блок-схемы реализации симуляторов с MR.

2. Рассмотрено создание визуализации имитационной обстановки в пакетах Unity, Unreal Engine и использование более простого метода визуализации дорожной обстановки на основе записанного в дороге видео, которое воспроизводится в шлеме виртуальной реальности в соответствии со скоростью моделирования автомобиля в пакете Simulink с помощью разработанной программы управляемого видео по скорости движения. Отмечена сложность освоения Unreal Engine, Unity, отсутствие в них возможности осуществления вибрационного воздействия, задания продольного и микропрофиля дороги и синхронизации их с дорожной обстановкой, что необходимо для комплексного моделирования автомобиля.

4. И все же более перспективным в дальнейшем представляется использование Unreal Engine c программами на C/C++ в сочетании с Simulink для моделирования различных дорожных ситуаций, отработки эргономики с применением отработанных решений

5. Обоснована необходимость разнесения вычислений на компьютеры и использование сети Samba, CAN BUS для обмена информации, предложена схема и блок-схема реализации на Simulink. Предложено с помощью миникомпьютера Raspberry, АЦП и программы на C/C++ осуществлять снятие информации с органов управления и передачу ее по сети Samba на компьютеры.