АЛГОРИТМЫ ЗАХВАТА И ЛОКАЛИЗАЦИИ ДЛЯ ДВУРУКИХ РОБОТОВ В ИНТЕЛЛЕКТУАЛЬНЫХ ЛАБОРАТОРИЯХ
АЛГОРИТМЫ ЗАХВАТА И ЛОКАЛИЗАЦИИ ДЛЯ ДВУРУКИХ РОБОТОВ В ИНТЕЛЛЕКТУАЛЬНЫХ ЛАБОРАТОРИЯХ
Аннотация
Для решения задачи точного определения местоположения прозрачных и полупрозрачных объектов в условиях сложного освещения в интеллектуальных лабораториях в данной статье предлагается алгоритм захвата и локализации, который объединяет улучшенную сверточную нейронную сеть с кластеризацией пиков плотности (DPC-CNN) с улучшенным алгоритмом обнаружения границ Кэнни. Алгоритм DPC оптимизирует процесс извлечения признаков CNN, эффективно устраняя избыточные признаки, вызванные отражениями от стеклянных объектов. Кумулятивное вероятностное преобразование Хафа (PPHT) используется для аппроксимации границ в пределах области интереса (ROI), обеспечивая высокоточную локализацию. Экспериментальные результаты показывают, что этот метод обеспечивает точность распознавания 96% и стабильно высокий процент успешного захвата (выше 98%) в различных условиях освещения в лаборатории, демонстрируя высокую ценность для инженерного применения.
1. Введение
С быстрым развитием биомедицины, материаловедения и других областей высокопроизводительные эксперименты стали ключевым звеном научных исследований и производства. Традиционные лабораторные операции в значительной степени зависят от ручного труда, что не только неэффективно, но и создает угрозу безопасности при работе с высокотоксичными, радиоактивными или хрупкими биологическими образцами. Поэтому разработка интеллектуальных лабораторных роботов, способных заменить ручной труд в точных операциях, стала актуальной темой исследований в области искусственного интеллекта и робототехники .
В процессе автоматизации лаборатории система визуального позиционирования является «глазом» робота, и ее основная задача – точно идентифицировать целевые инструменты на сложных экспериментальных столах и обеспечить точные координаты захвата. Однако лабораторная среда имеет свои особенности: преломление и отражение, вызванные прозрачностью стеклянных инструментов, визуальные помехи, вызванные различными уровнями жидкости, и взаимное перекрытие при плотном расположении инструментов – все это создает серьезные проблемы для традиционных алгоритмов визуального позиционирования.
1.1. Текущее состояние исследований в стране и за рубежом
В области визуальной локализации роботов отечественные и зарубежные ученые добились определенных успехов. За рубежом исследования в основном сосредоточены на обобщенных моделях захвата, основанных на глубоком обучении с подкреплением, таких как серия Dex-Net, предложенная Малером и др. , которая пытается улучшить способность робота обрабатывать неизвестные объекты с помощью большого объема данных моделирования. Для прозрачных объектов Саджан и др. предложили модель ClearGrasp, которая использует технологию восстановления глубины для исправления информации о глубине прозрачных объектов . В Китае исследования по конкретным сценариям (таким как промышленная сортировка и сельскохозяйственная уборка урожая) относительно зрелые.
Исследования визуального позиционирования прозрачных и полупрозрачных объектов в лабораторных условиях все еще находятся на ранней стадии. Существующие методы, такие как улучшенная серия YOLO, хорошо работают при работе с непрозрачными объектами , но точность распознавания и позиционирования значительно снижается в условиях частой смены источников света или сильных отражений от стеклянных материалов в лаборатории. В некоторых исследованиях используется технология слияния информации RGB-D и алгоритм кластеризации K-средних для извлечения информации о местоположении, но этапы предварительной обработки являются громоздкими, а эффективность отклика в реальном времени низка.
Для оптимизации точности позиционирования точки захвата лабораторных объектов в данной работе используются преимущества глубокого обучения в синтезе захвата на основе данных и исследованиях сетей предложения регионов , , и предлагается алгоритм позиционирования, который интегрирует кластеризацию пространственных признаков и геометрическую подгонку краев.
2. Разработка интеллектуального решения для позиционирования лабораторного робота. Логика определения точек захвата лабораторного оборудования
В процессе работы лабораторного робота основными объектами являются экспериментальные инструменты различных спецификаций. Визуальные особенности экспериментальных инструментов (такие как отверстия пробирок и края контейнеров) значительно зависят от окружающей среды. Например, при сильном холодном свете отражательные особенности края стекла становятся очевидными; в то время как при слабом окружающем освещении или наличии желтого теплого света особенности края легко сливаются с фоном экспериментального стола. Система использует визуальный датчик, установленный на конце, для сбора изображений рабочей зоны, выполняет первоначальную локализацию цели с помощью, улучшенной DPC-CNN, а затем выполняет точное соответствие краев внутри области интереса (ROI) захвата, в итоге направляя двурукого робота для выполнения совместного захвата .
2.1. Проверка лабораторного оборудования на основе DPC-CNN
В лабораторных условиях форма объектов (таких как прозрачные пробирки и полупрозрачные коробки с наконечниками для пипеток) нелинейно изменяется под разными углами и при различной интенсивности света, что приводит к неспособности роботизированных манипуляторов точно выравнивать инструменты во время позиционирования. Сверточные нейронные сети (CNN) в глубоком обучении обладают характеристиками совместного использования параметров, что позволяет эффективно использовать информацию о локальной корреляции для извлечения признаков. В данной работе используется механизм совместного использования параметров, позволяющий сети лучше адаптироваться к характеристикам инструментов в различных лабораторных условиях (например, белые столешницы и металлические вытяжные шкафы).
Учитывая, что признаки, извлекаемые с помощью сверточных нейронных сетей, часто носят нелинейный характер, традиционная линейная кластеризация может оказаться неэффективной для их обработки. В данной работе используется улучшенный алгоритм кластеризации пиков плотности (DPC) для оптимизации сверточных слоев, выбора эффективных признаков, извлекаемых сверточными ядрами, и обучения сети с использованием алгоритма обратного распространения ошибки среднего квадрата с обучением под наблюдением. Структура сети состоит из двух сверточных слоев, двух слоев пулинга и полносвязного слоя.
2.2. Механизм оптимизации карты признаков
В качестве входных данных выбирается изображение H, и сверточный слой генерирует последовательность карт признаков {h1,h2,…,hm}. Для фильтрации признаков, чувствительных к прозрачным контурам, определяются локальная плотность wj и относительное расстояние βj каждой точки данных признака :
где eji – евклидово расстояние между векторами признаков, а eD – расстояние отсечения. Путем вычисления комплексного показателя χj = wj × βj выбираются D карт признаков с более высокими показателями в качестве основных признаков, а карты признаков с низким вкладом, вызванные шумом окружающей среды, удаляются.
2.3. Классификация и регрессия
Для снижения частоты ошибок классификации вместо Eji используется расстояние ядра eji:
Вероятность принадлежности точки данных к d-му кластеру qj,d рассчитывается на основе сходства rji. Извлечение признаков на основе улучшенной кластеризации пиков плотности может значительно уменьшить избыточную информацию (например, отражательный шум) и повысить устойчивость к сдвигу и масштабированию.
Слой субдискретизации функционирует на основе алгоритма максимизации (Max Pooling):
После уменьшения размерности с помощью максимального пулинга векторы признаков отображаются на полносвязные слои. Для определения типа инструмента используется классификатор softmax, а точность классификации повышается за счет использования методов обучения глубоких остаточных сетей и сверхглубоких сетей , .
где
2.4. Точное позиционирование точки захвата экспериментальной установки
Несмотря на то, что усовершенствованные сверточные нейронные сети позволяют получать информацию о положении целевых инструментов (таких как пробирки, наконечники пипеток и т. д.), в реальной работе робота все еще могут возникать ошибки позиционирования. Это в основном связано с высокой отражательной способностью фона, преломлением света в стекле и системным шумом датчиков в лабораторных условиях, что делает невозможным прямое использование выходных координат сверточной нейронной сети для высокоточной настройки роботизированной руки. Алгоритм обнаружения границ Кэнни обладает высокой помехоустойчивостью и подходит для извлечения контуров лабораторных инструментов с высокой степенью прозрачности.
В данной работе отмечаются координаты центроида, геометрические вершины и данные описанного прямоугольника инструмента, устанавливается ограничивающий прямоугольник (ROI) под ключевыми частями инструмента, выполняется улучшенное обнаружение границ Кэнни внутри прямоугольника, а затем выполняется обнаружение и подгонка с помощью кумулятивного вероятностного преобразования Хафа на основе обнаруженной информации о границе для извлечения прямых отрезков рукоятки или края инструмента, что обеспечивает точное позиционирование.
2.5. Улучшенное обнаружение границ методом Кэнни
На основе классической теории обнаружения границ Кэнни
в данной работе используется адаптивная пороговая сегментация для неравномерного лабораторного освещения. Область ROI разделена на фоновую областьгде ωk – вероятность появления k-й области, Lk – ожидаемый средний градиент этой области, а L – ожидаемое значение градиента всей области. Эта трехуровневая стратегия пороговой сегментации позволяет эффективно сохранять слабые контуры стеклянной посуды, устраняя ложные края, вызванные световыми пятнами, что обеспечивает надежность извлечения краев в сложных условиях лабораторного освещения.
2.6. Визуальная локализация точки захвата
После обнаружения границ, учитывая, что лабораторное оборудование (например, ручки пробирок и края наконечников пипеток) обычно обладает очевидными геометрическими прямолинейными особенностями, а отражающий шум проявляется в виде нерегулярных кривых, вероятностное кумулятивное преобразование Хафа (PPHT) может эффективно идентифицировать прямолинейные цели путем подсчета количества голосов в пикселях. Поэтому в данной работе используется метод PPHT для обнаружения прямолинейных линий на обнаруженных сегментах границ . В качестве разумных параметров для эффективной фильтрации ложных границ, вызванных преломлением света в стекле, установлены пороговое значение накопленной плоскости и минимальная длина отрезка линии. Оставшиеся прямолинейные сегменты представляют собой геометрические оси оборудования, а уравнение аппроксимирующей прямой линии имеет вид:
В формуле λ(φ) – геометрическая линия, аппроксимирующаяся роботом; B – константа аппроксимации (значение 1,4203); и τ – ошибка аппроксимации. Координаты точки пересечения аппроксимирующей линии λ(φ) и горизонтальной оси симметрии интересующего прямоугольника задаются в качестве положения точки захвата. На основе этого робот корректирует положение концевого эффектора роботизированной руки с помощью алгоритма ПИД-регулирования, основанного на информации обратной связи, полученной от датчиков (таких как камеры и датчики силы), так что его захват точно перемещается в целевые координаты и выполняет захватное действие. Этот метод, интегрирующий извлечение признаков с помощью глубокого обучения и классическую геометрическую аппроксимацию, значительно повышает точность визуального позиционирования лабораторных роботов в условиях нестабильного освещения.
2.7. Настройка и оценка эксперимента
Экспериментальная платформа состоит из двух независимых легких шести осевых (шестиступенных) роботизированных манипуляторов, образующих единую двурукую робототехнических систему, камеры на концевом захвате и промышленного вычислительного блока, как показано на рисунке 1.
Экспериментальный сценарий имитирует типичный интеллектуальный лабораторный стол с оборудованием, включающим стеклянные пробирки, колбы Эрленмейера, центрифужные пробирки и коробки с наконечниками для пипеток различных размеров. Набор данных содержит 9677 изображений типичной лабораторной сцены. 70% изображений используются в качестве обучающего набора, 20% – в качестве проверочного набора и 10% – в качестве тестового набора.
Лабораторный робот с двумя манипуляторами
Точность распознавания
Настройки параметров алгоритма
Название метода | Параметры | Значения настроек |
Алгоритм DPC | Радиус отсечения eD | 0,15 |
Структура CNN | Размер ядра и Шаг | 3×3 / 1 |
Обнаружение Кэнни | Размер ядра Гаусса | 5×5 |
Метод PPHT | Минимальная длина сегмента и максимальная косвенность | 50 px / 10 px |
3. Обсуждение результатов эксперимента
1. Анализ в реальном времени: после внедрения оптимизации DPC время обработки одного кадра изображения сокращается с 0,08 с до 0,045 с. В сочетании со стратегией захвата с координацией рук и глаз, основанной на больших объемах данных , это полностью отвечает требованиям онлайн-работы робота.
2. Ошибка позиционирования: ошибка позиционирования пикселя Φ определяется как евклидово расстояние между прогнозируемой точкой захвата и истинным значением. В условиях сильного отражения средняя ошибка составляет всего 0,17d (d – диаметр прибора), что значительно лучше, чем 0,45d у традиционной комбинации YOLO-Canny.
Статистические данные по показателю успешности захвата роботом в различных условиях работы
Условия освещения | Тип цели | Ошибка позиционирования | Процент успешности захвата |
Стандартное комнатное освещение | Стеклянная колба Эрленмейера | 0,11d | 99,2% |
Высокая отражательная способность (полдень) | Стеклянная колба Эрленмейера | 0,21d | 98,1% |
Низкая освещенность (тень) | Стеклянная колба Эрленмейера | 0,19d | 98,5% |
4. Заключение
В данной статье предлагается алгоритм визуальной локализации, основанный на DPC-CNN и слиянии геометрических признаков, для сценариев интеллектуальной лаборатории. Исследование показывает, что оптимизация пространства признаков с помощью алгоритмов кластеризации значительно повышает устойчивость робота к помехам от прозрачных объектов. Этот алгоритм не только обеспечивает высокоточный захват и локализацию (с вероятностью успеха 98%), но и отвечает требованиям реального времени промышленных приложений. Дальнейшая работа будет сосредоточена на предотвращении сложных перекрытий в многоруких средах совместной работы и восприятии направления с помощью слияния данных от нескольких датчиков, чтобы еще больше повысить операционную гибкость робота в сложных и неструктурированных средах.