1. Введение
С быстрым развитием биомедицины, материаловедения и других областей высокопроизводительные эксперименты стали ключевым звеном научных исследований и производства. Традиционные лабораторные операции в значительной степени зависят от ручного труда, что не только неэффективно, но и создает угрозу безопасности при работе с высокотоксичными, радиоактивными или хрупкими биологическими образцами. Поэтому разработка интеллектуальных лабораторных роботов, способных заменить ручной труд в точных операциях, стала актуальной темой исследований в области искусственного интеллекта и робототехники [1].
В процессе автоматизации лаборатории система визуального позиционирования является «глазом» робота, и ее основная задача – точно идентифицировать целевые инструменты на сложных экспериментальных столах и обеспечить точные координаты захвата. Однако лабораторная среда имеет свои особенности: преломление и отражение, вызванные прозрачностью стеклянных инструментов, визуальные помехи, вызванные различными уровнями жидкости, и взаимное перекрытие при плотном расположении инструментов – все это создает серьезные проблемы для традиционных алгоритмов визуального позиционирования.
1.1. Текущее состояние исследований в стране и за рубежом
В области визуальной локализации роботов отечественные и зарубежные ученые добились определенных успехов. За рубежом исследования в основном сосредоточены на обобщенных моделях захвата, основанных на глубоком обучении с подкреплением, таких как серия Dex-Net, предложенная Малером и др. [2], которая пытается улучшить способность робота обрабатывать неизвестные объекты с помощью большого объема данных моделирования. Для прозрачных объектов Саджан и др. предложили модель ClearGrasp, которая использует технологию восстановления глубины для исправления информации о глубине прозрачных объектов [3]. В Китае исследования по конкретным сценариям (таким как промышленная сортировка и сельскохозяйственная уборка урожая) относительно зрелые.
Исследования визуального позиционирования прозрачных и полупрозрачных объектов в лабораторных условиях все еще находятся на ранней стадии. Существующие методы, такие как улучшенная серия YOLO, хорошо работают при работе с непрозрачными объектами [4], но точность распознавания и позиционирования значительно снижается в условиях частой смены источников света или сильных отражений от стеклянных материалов в лаборатории. В некоторых исследованиях используется технология слияния информации RGB-D и алгоритм кластеризации K-средних для извлечения информации о местоположении, но этапы предварительной обработки являются громоздкими, а эффективность отклика в реальном времени низка.
Для оптимизации точности позиционирования точки захвата лабораторных объектов в данной работе используются преимущества глубокого обучения в синтезе захвата на основе данных и исследованиях сетей предложения регионов [5], [6], и предлагается алгоритм позиционирования, который интегрирует кластеризацию пространственных признаков и геометрическую подгонку краев.
2. Разработка интеллектуального решения для позиционирования лабораторного робота. Логика определения точек захвата лабораторного оборудования
В процессе работы лабораторного робота основными объектами являются экспериментальные инструменты различных спецификаций. Визуальные особенности экспериментальных инструментов (такие как отверстия пробирок и края контейнеров) значительно зависят от окружающей среды. Например, при сильном холодном свете отражательные особенности края стекла становятся очевидными; в то время как при слабом окружающем освещении или наличии желтого теплого света особенности края легко сливаются с фоном экспериментального стола. Система использует визуальный датчик, установленный на конце, для сбора изображений рабочей зоны, выполняет первоначальную локализацию цели с помощью, улучшенной DPC-CNN, а затем выполняет точное соответствие краев внутри области интереса (ROI) захвата, в итоге направляя двурукого робота для выполнения совместного захвата [7].
2.1. Проверка лабораторного оборудования на основе DPC-CNN
В лабораторных условиях форма объектов (таких как прозрачные пробирки и полупрозрачные коробки с наконечниками для пипеток) нелинейно изменяется под разными углами и при различной интенсивности света, что приводит к неспособности роботизированных манипуляторов точно выравнивать инструменты во время позиционирования. Сверточные нейронные сети (CNN) в глубоком обучении обладают характеристиками совместного использования параметров, что позволяет эффективно использовать информацию о локальной корреляции для извлечения признаков. В данной работе используется механизм совместного использования параметров, позволяющий сети лучше адаптироваться к характеристикам инструментов в различных лабораторных условиях (например, белые столешницы и металлические вытяжные шкафы).
Учитывая, что признаки, извлекаемые с помощью сверточных нейронных сетей, часто носят нелинейный характер, традиционная линейная кластеризация может оказаться неэффективной для их обработки. В данной работе используется улучшенный алгоритм кластеризации пиков плотности (DPC) для оптимизации сверточных слоев, выбора эффективных признаков, извлекаемых сверточными ядрами, и обучения сети с использованием алгоритма обратного распространения ошибки среднего квадрата с обучением под наблюдением. Структура сети состоит из двух сверточных слоев, двух слоев пулинга и полносвязного слоя.
2.2. Механизм оптимизации карты признаков
В качестве входных данных выбирается изображение H, и сверточный слой генерирует последовательность карт признаков {h1Missing Mark : sub,h2Missing Mark : sub,…,hmMissing Mark : sub}. Для фильтрации признаков, чувствительных к прозрачным контурам, определяются локальная плотность wjMissing Mark : sub и относительное расстояние βj Missing Mark : subкаждой точки данных признака
[8]
[LATEX_FORMULA]\begin{array}{c}
w_{j}=\sum_{i} \exp \left(-\frac{e_{j i}^{2}}{e_{D}^{2}}\right) \\
\beta_{j}=\min _{i: w_{i}>w_{j}} e_{j i}
\end{array}[/LATEX_FORMULA]
где eji Missing Mark : sub– евклидово расстояние между векторами признаков, а eDMissing Mark : sub – расстояние отсечения. Путем вычисления комплексного показателя χj Missing Mark : sub= wjMissing Mark : sub × βjMissing Mark : sub выбираются D карт признаков с более высокими показателями в качестве основных признаков, а карты признаков с низким вкладом, вызванные шумом окружающей среды, удаляются.
Для снижения частоты ошибок классификации вместо EjiMissing Mark : sub используется расстояние ядра ejiMissing Mark : sub:
Вероятность принадлежности точки данных к d-му кластеру qj,dMissing Mark : sub рассчитывается на основе сходства rjiMissing Mark : sub. Извлечение признаков на основе улучшенной кластеризации пиков плотности может значительно уменьшить избыточную информацию (например, отражательный шум) и повысить устойчивость к сдвигу и масштабированию.
Слой субдискретизации функционирует на основе алгоритма максимизации (Max Pooling):
После уменьшения размерности с помощью максимального пулинга векторы признаков отображаются на полносвязные слои. Для определения типа инструмента используется классификатор softmax, а точность классификации повышается за счет использования методов обучения глубоких остаточных сетей и сверхглубоких сетей [9], [10].
где
2.4. Точное позиционирование точки захвата экспериментальной установки
Несмотря на то, что усовершенствованные сверточные нейронные сети позволяют получать информацию о положении целевых инструментов (таких как пробирки, наконечники пипеток и т. д.), в реальной работе робота все еще могут возникать ошибки позиционирования. Это в основном связано с высокой отражательной способностью фона, преломлением света в стекле и системным шумом датчиков в лабораторных условиях, что делает невозможным прямое использование выходных координат сверточной нейронной сети для высокоточной настройки роботизированной руки. Алгоритм обнаружения границ Кэнни обладает высокой помехоустойчивостью и подходит для извлечения контуров лабораторных инструментов с высокой степенью прозрачности.
В данной работе отмечаются координаты центроида, геометрические вершины и данные описанного прямоугольника инструмента, устанавливается ограничивающий прямоугольник (ROI) под ключевыми частями инструмента, выполняется улучшенное обнаружение границ Кэнни внутри прямоугольника, а затем выполняется обнаружение и подгонка с помощью кумулятивного вероятностного преобразования Хафа на основе обнаруженной информации о границе для извлечения прямых отрезков рукоятки или края инструмента, что обеспечивает точное позиционирование.
На основе классической теории обнаружения границ Кэнни
[11][12]
где ωk Missing Mark : sub– вероятность появления k-й области, Lk Missing Mark : sub– ожидаемый средний градиент этой области, а L – ожидаемое значение градиента всей области. Эта трехуровневая стратегия пороговой сегментации позволяет эффективно сохранять слабые контуры стеклянной посуды, устраняя ложные края, вызванные световыми пятнами, что обеспечивает надежность извлечения краев в сложных условиях лабораторного освещения.
2.6. Визуальная локализация точки захвата
После обнаружения границ, учитывая, что лабораторное оборудование (например, ручки пробирок и края наконечников пипеток) обычно обладает очевидными геометрическими прямолинейными особенностями, а отражающий шум проявляется в виде нерегулярных кривых, вероятностное кумулятивное преобразование Хафа (PPHT) может эффективно идентифицировать прямолинейные цели путем подсчета количества голосов в пикселях. Поэтому в данной работе используется метод PPHT для обнаружения прямолинейных линий на обнаруженных сегментах границ [13]. В качестве разумных параметров для эффективной фильтрации ложных границ, вызванных преломлением света в стекле, установлены пороговое значение накопленной плоскости и минимальная длина отрезка линии. Оставшиеся прямолинейные сегменты представляют собой геометрические оси оборудования, а уравнение аппроксимирующей прямой линии имеет вид:
В формуле λ(φ) – геометрическая линия, аппроксимирующаяся роботом; B – константа аппроксимации (значение 1,4203); и τ – ошибка аппроксимации. Координаты точки пересечения аппроксимирующей линии λ(φ) и горизонтальной оси симметрии интересующего прямоугольника задаются в качестве положения точки захвата. На основе этого робот корректирует положение концевого эффектора роботизированной руки с помощью алгоритма ПИД-регулирования, основанного на информации обратной связи, полученной от датчиков (таких как камеры и датчики силы), так что его захват точно перемещается в целевые координаты и выполняет захватное действие. Этот метод, интегрирующий извлечение признаков с помощью глубокого обучения и классическую геометрическую аппроксимацию, значительно повышает точность визуального позиционирования лабораторных роботов в условиях нестабильного освещения.
Экспериментальная платформа состоит из двух независимых легких шести осевых (шестиступенных) роботизированных манипуляторов, образующих единую двурукую робототехнических систему, камеры на концевом захвате и промышленного вычислительного блока, как показано на рисунке 1.
Экспериментальный сценарий имитирует типичный интеллектуальный лабораторный стол с оборудованием, включающим стеклянные пробирки, колбы Эрленмейера, центрифужные пробирки и коробки с наконечниками для пипеток различных размеров. Набор данных содержит 9677 изображений типичной лабораторной сцены. 70% изображений используются в качестве обучающего набора, 20% – в качестве проверочного набора и 10% – в качестве тестового набора.
Лабораторный робот с двумя манипуляторами
В эксперименте первый слой сверточной нейронной сети имел размер ядра 3×3, количество ядер 16 и шаг 1; второй слой имел размер ядра 3×3, количество ядер 32 и шаг 1. На основе этого была обучена сеть, и изменение точности распознавания устройств в зависимости от количества итераций показано на рисунке 2. Как видно из рисунка, когда количество итераций достигает 220, точность распознавания достигает 96%, что доказывает, что предложенный метод может точно распознавать экспериментальные устройства.
Точность распознавания
Помимо указанных выше параметров, параметры, используемые при реализации описанного в данной статье метода, перечислены в таблице 1.
Настройки параметров алгоритма
| Название метода | Параметры | Значения настроек |
| Алгоритм DPC | D | 0,15 |
| Структура CNN | Размер ядра и Шаг | 3×3 / 1 |
| Обнаружение Кэнни | Размер ядра Гаусса | 5×5 |
| Метод PPHT | Минимальная длина сегмента и максимальная косвенность | 50 px / 10 px |
3. Обсуждение результатов эксперимента
1. Анализ в реальном времени: после внедрения оптимизации DPC время обработки одного кадра изображения сокращается с 0,08 с до 0,045 с. В сочетании со стратегией захвата с координацией рук и глаз, основанной на больших объемах данных [13], это полностью отвечает требованиям онлайн-работы робота.
2. Ошибка позиционирования: ошибка позиционирования пикселя Φ определяется как евклидово расстояние между прогнозируемой точкой захвата и истинным значением. В условиях сильного отражения средняя ошибка составляет всего 0,17d (d – диаметр прибора), что значительно лучше, чем 0,45d у традиционной комбинации YOLO-Canny.
Статистические данные по показателю успешности захвата роботом в различных условиях работы
| Условия освещения | Тип цели | Ошибка позиционирования | Процент успешности захвата |
| Стандартное комнатное освещение | Стеклянная колба Эрленмейера | 0,11d | 99,2% |
| Высокая отражательная способность (полдень) | Стеклянная колба Эрленмейера | 0,21d | 98,1% |
| Низкая освещенность (тень) | Стеклянная колба Эрленмейера | 0,19d | 98,5% |
4. Заключение
В данной статье предлагается алгоритм визуальной локализации, основанный на DPC-CNN и слиянии геометрических признаков, для сценариев интеллектуальной лаборатории. Исследование показывает, что оптимизация пространства признаков с помощью алгоритмов кластеризации значительно повышает устойчивость робота к помехам от прозрачных объектов. Этот алгоритм не только обеспечивает высокоточный захват и локализацию (с вероятностью успеха 98%), но и отвечает требованиям реального времени промышленных приложений. Дальнейшая работа будет сосредоточена на предотвращении сложных перекрытий в многоруких средах совместной работы и восприятии направления с помощью слияния данных от нескольких датчиков, чтобы еще больше повысить операционную гибкость робота в сложных и неструктурированных средах.