CAPTURE AND LOCALIZATION ALGORITHMS FOR TWO-ARMED ROBOTS IN INTELLIGENT LABORATORIES
CAPTURE AND LOCALIZATION ALGORITHMS FOR TWO-ARMED ROBOTS IN INTELLIGENT LABORATORIES
Abstract
To solve the problem of accurately determining the location of transparent and translucent objects in difficult lighting conditions in intelligent laboratories, this article proposes a capture and localization algorithm that combines an improved convolutional neural network with density peak clustering (DPC-CNN) with an improved Canny boundary detection algorithm. The DPC algorithm optimizes the CNN feature extraction process, effectively eliminating redundant features caused by reflections from glass objects. The cumulative probabilistic Hough transform (PPHT) is used to approximate boundaries within the region of interest (ROI), providing highly accurate localization. Experimental results show that this method provides 96% recognition accuracy and a consistently high percentage of successful capture (above 98%) in various lighting conditions in the laboratory, demonstrating high value for engineering applications.
1. Введение
С быстрым развитием биомедицины, материаловедения и других областей высокопроизводительные эксперименты стали ключевым звеном научных исследований и производства. Традиционные лабораторные операции в значительной степени зависят от ручного труда, что не только неэффективно, но и создает угрозу безопасности при работе с высокотоксичными, радиоактивными или хрупкими биологическими образцами. Поэтому разработка интеллектуальных лабораторных роботов, способных заменить ручной труд в точных операциях, стала актуальной темой исследований в области искусственного интеллекта и робототехники .
В процессе автоматизации лаборатории система визуального позиционирования является «глазом» робота, и ее основная задача – точно идентифицировать целевые инструменты на сложных экспериментальных столах и обеспечить точные координаты захвата. Однако лабораторная среда имеет свои особенности: преломление и отражение, вызванные прозрачностью стеклянных инструментов, визуальные помехи, вызванные различными уровнями жидкости, и взаимное перекрытие при плотном расположении инструментов – все это создает серьезные проблемы для традиционных алгоритмов визуального позиционирования.
1.1. Текущее состояние исследований в стране и за рубежом
В области визуальной локализации роботов отечественные и зарубежные ученые добились определенных успехов. За рубежом исследования в основном сосредоточены на обобщенных моделях захвата, основанных на глубоком обучении с подкреплением, таких как серия Dex-Net, предложенная Малером и др. , которая пытается улучшить способность робота обрабатывать неизвестные объекты с помощью большого объема данных моделирования. Для прозрачных объектов Саджан и др. предложили модель ClearGrasp, которая использует технологию восстановления глубины для исправления информации о глубине прозрачных объектов . В Китае исследования по конкретным сценариям (таким как промышленная сортировка и сельскохозяйственная уборка урожая) относительно зрелые.
Исследования визуального позиционирования прозрачных и полупрозрачных объектов в лабораторных условиях все еще находятся на ранней стадии. Существующие методы, такие как улучшенная серия YOLO, хорошо работают при работе с непрозрачными объектами , но точность распознавания и позиционирования значительно снижается в условиях частой смены источников света или сильных отражений от стеклянных материалов в лаборатории. В некоторых исследованиях используется технология слияния информации RGB-D и алгоритм кластеризации K-средних для извлечения информации о местоположении, но этапы предварительной обработки являются громоздкими, а эффективность отклика в реальном времени низка.
Для оптимизации точности позиционирования точки захвата лабораторных объектов в данной работе используются преимущества глубокого обучения в синтезе захвата на основе данных и исследованиях сетей предложения регионов , , и предлагается алгоритм позиционирования, который интегрирует кластеризацию пространственных признаков и геометрическую подгонку краев.
2. Разработка интеллектуального решения для позиционирования лабораторного робота. Логика определения точек захвата лабораторного оборудования
В процессе работы лабораторного робота основными объектами являются экспериментальные инструменты различных спецификаций. Визуальные особенности экспериментальных инструментов (такие как отверстия пробирок и края контейнеров) значительно зависят от окружающей среды. Например, при сильном холодном свете отражательные особенности края стекла становятся очевидными; в то время как при слабом окружающем освещении или наличии желтого теплого света особенности края легко сливаются с фоном экспериментального стола. Система использует визуальный датчик, установленный на конце, для сбора изображений рабочей зоны, выполняет первоначальную локализацию цели с помощью, улучшенной DPC-CNN, а затем выполняет точное соответствие краев внутри области интереса (ROI) захвата, в итоге направляя двурукого робота для выполнения совместного захвата .
2.1. Проверка лабораторного оборудования на основе DPC-CNN
В лабораторных условиях форма объектов (таких как прозрачные пробирки и полупрозрачные коробки с наконечниками для пипеток) нелинейно изменяется под разными углами и при различной интенсивности света, что приводит к неспособности роботизированных манипуляторов точно выравнивать инструменты во время позиционирования. Сверточные нейронные сети (CNN) в глубоком обучении обладают характеристиками совместного использования параметров, что позволяет эффективно использовать информацию о локальной корреляции для извлечения признаков. В данной работе используется механизм совместного использования параметров, позволяющий сети лучше адаптироваться к характеристикам инструментов в различных лабораторных условиях (например, белые столешницы и металлические вытяжные шкафы).
Учитывая, что признаки, извлекаемые с помощью сверточных нейронных сетей, часто носят нелинейный характер, традиционная линейная кластеризация может оказаться неэффективной для их обработки. В данной работе используется улучшенный алгоритм кластеризации пиков плотности (DPC) для оптимизации сверточных слоев, выбора эффективных признаков, извлекаемых сверточными ядрами, и обучения сети с использованием алгоритма обратного распространения ошибки среднего квадрата с обучением под наблюдением. Структура сети состоит из двух сверточных слоев, двух слоев пулинга и полносвязного слоя.
2.2. Механизм оптимизации карты признаков
В качестве входных данных выбирается изображение H, и сверточный слой генерирует последовательность карт признаков {h1,h2,…,hm}. Для фильтрации признаков, чувствительных к прозрачным контурам, определяются локальная плотность wj и относительное расстояние βj каждой точки данных признака :
где eji – евклидово расстояние между векторами признаков, а eD – расстояние отсечения. Путем вычисления комплексного показателя χj = wj × βj выбираются D карт признаков с более высокими показателями в качестве основных признаков, а карты признаков с низким вкладом, вызванные шумом окружающей среды, удаляются.
2.3. Классификация и регрессия
Для снижения частоты ошибок классификации вместо Eji используется расстояние ядра eji:
Вероятность принадлежности точки данных к d-му кластеру qj,d рассчитывается на основе сходства rji. Извлечение признаков на основе улучшенной кластеризации пиков плотности может значительно уменьшить избыточную информацию (например, отражательный шум) и повысить устойчивость к сдвигу и масштабированию.
Слой субдискретизации функционирует на основе алгоритма максимизации (Max Pooling):
После уменьшения размерности с помощью максимального пулинга векторы признаков отображаются на полносвязные слои. Для определения типа инструмента используется классификатор softmax, а точность классификации повышается за счет использования методов обучения глубоких остаточных сетей и сверхглубоких сетей , .
где
2.4. Точное позиционирование точки захвата экспериментальной установки
Несмотря на то, что усовершенствованные сверточные нейронные сети позволяют получать информацию о положении целевых инструментов (таких как пробирки, наконечники пипеток и т. д.), в реальной работе робота все еще могут возникать ошибки позиционирования. Это в основном связано с высокой отражательной способностью фона, преломлением света в стекле и системным шумом датчиков в лабораторных условиях, что делает невозможным прямое использование выходных координат сверточной нейронной сети для высокоточной настройки роботизированной руки. Алгоритм обнаружения границ Кэнни обладает высокой помехоустойчивостью и подходит для извлечения контуров лабораторных инструментов с высокой степенью прозрачности.
В данной работе отмечаются координаты центроида, геометрические вершины и данные описанного прямоугольника инструмента, устанавливается ограничивающий прямоугольник (ROI) под ключевыми частями инструмента, выполняется улучшенное обнаружение границ Кэнни внутри прямоугольника, а затем выполняется обнаружение и подгонка с помощью кумулятивного вероятностного преобразования Хафа на основе обнаруженной информации о границе для извлечения прямых отрезков рукоятки или края инструмента, что обеспечивает точное позиционирование.
2.5. Улучшенное обнаружение границ методом Кэнни
На основе классической теории обнаружения границ Кэнни
в данной работе используется адаптивная пороговая сегментация для неравномерного лабораторного освещения. Область ROI разделена на фоновую областьгде ωk – вероятность появления k-й области, Lk – ожидаемый средний градиент этой области, а L – ожидаемое значение градиента всей области. Эта трехуровневая стратегия пороговой сегментации позволяет эффективно сохранять слабые контуры стеклянной посуды, устраняя ложные края, вызванные световыми пятнами, что обеспечивает надежность извлечения краев в сложных условиях лабораторного освещения.
2.6. Визуальная локализация точки захвата
После обнаружения границ, учитывая, что лабораторное оборудование (например, ручки пробирок и края наконечников пипеток) обычно обладает очевидными геометрическими прямолинейными особенностями, а отражающий шум проявляется в виде нерегулярных кривых, вероятностное кумулятивное преобразование Хафа (PPHT) может эффективно идентифицировать прямолинейные цели путем подсчета количества голосов в пикселях. Поэтому в данной работе используется метод PPHT для обнаружения прямолинейных линий на обнаруженных сегментах границ . В качестве разумных параметров для эффективной фильтрации ложных границ, вызванных преломлением света в стекле, установлены пороговое значение накопленной плоскости и минимальная длина отрезка линии. Оставшиеся прямолинейные сегменты представляют собой геометрические оси оборудования, а уравнение аппроксимирующей прямой линии имеет вид:
В формуле λ(φ) – геометрическая линия, аппроксимирующаяся роботом; B – константа аппроксимации (значение 1,4203); и τ – ошибка аппроксимации. Координаты точки пересечения аппроксимирующей линии λ(φ) и горизонтальной оси симметрии интересующего прямоугольника задаются в качестве положения точки захвата. На основе этого робот корректирует положение концевого эффектора роботизированной руки с помощью алгоритма ПИД-регулирования, основанного на информации обратной связи, полученной от датчиков (таких как камеры и датчики силы), так что его захват точно перемещается в целевые координаты и выполняет захватное действие. Этот метод, интегрирующий извлечение признаков с помощью глубокого обучения и классическую геометрическую аппроксимацию, значительно повышает точность визуального позиционирования лабораторных роботов в условиях нестабильного освещения.
2.7. Настройка и оценка эксперимента
Экспериментальная платформа состоит из двух независимых легких шести осевых (шестиступенных) роботизированных манипуляторов, образующих единую двурукую робототехнических систему, камеры на концевом захвате и промышленного вычислительного блока, как показано на рисунке 1.
Экспериментальный сценарий имитирует типичный интеллектуальный лабораторный стол с оборудованием, включающим стеклянные пробирки, колбы Эрленмейера, центрифужные пробирки и коробки с наконечниками для пипеток различных размеров. Набор данных содержит 9677 изображений типичной лабораторной сцены. 70% изображений используются в качестве обучающего набора, 20% – в качестве проверочного набора и 10% – в качестве тестового набора.
Лабораторный робот с двумя манипуляторами
Точность распознавания
Настройки параметров алгоритма
Название метода | Параметры | Значения настроек |
Алгоритм DPC | Радиус отсечения eD | 0,15 |
Структура CNN | Размер ядра и Шаг | 3×3 / 1 |
Обнаружение Кэнни | Размер ядра Гаусса | 5×5 |
Метод PPHT | Минимальная длина сегмента и максимальная косвенность | 50 px / 10 px |
3. Обсуждение результатов эксперимента
1. Анализ в реальном времени: после внедрения оптимизации DPC время обработки одного кадра изображения сокращается с 0,08 с до 0,045 с. В сочетании со стратегией захвата с координацией рук и глаз, основанной на больших объемах данных , это полностью отвечает требованиям онлайн-работы робота.
2. Ошибка позиционирования: ошибка позиционирования пикселя Φ определяется как евклидово расстояние между прогнозируемой точкой захвата и истинным значением. В условиях сильного отражения средняя ошибка составляет всего 0,17d (d – диаметр прибора), что значительно лучше, чем 0,45d у традиционной комбинации YOLO-Canny.
Статистические данные по показателю успешности захвата роботом в различных условиях работы
Условия освещения | Тип цели | Ошибка позиционирования | Процент успешности захвата |
Стандартное комнатное освещение | Стеклянная колба Эрленмейера | 0,11d | 99,2% |
Высокая отражательная способность (полдень) | Стеклянная колба Эрленмейера | 0,21d | 98,1% |
Низкая освещенность (тень) | Стеклянная колба Эрленмейера | 0,19d | 98,5% |
4. Заключение
В данной статье предлагается алгоритм визуальной локализации, основанный на DPC-CNN и слиянии геометрических признаков, для сценариев интеллектуальной лаборатории. Исследование показывает, что оптимизация пространства признаков с помощью алгоритмов кластеризации значительно повышает устойчивость робота к помехам от прозрачных объектов. Этот алгоритм не только обеспечивает высокоточный захват и локализацию (с вероятностью успеха 98%), но и отвечает требованиям реального времени промышленных приложений. Дальнейшая работа будет сосредоточена на предотвращении сложных перекрытий в многоруких средах совместной работы и восприятии направления с помощью слияния данных от нескольких датчиков, чтобы еще больше повысить операционную гибкость робота в сложных и неструктурированных средах.