Маркеры визуальной системы автоматической посадки БЛА

Визуальная автоматическая посадка БЛА может выполняться не только по характерным точкам местности, но и по специально подготовленным и известным изображениям — маркерам. Собственно сама стандартная разметка ВПП состоит из таких маркеров, только исторически они предназначались не для обработки компьютером, а для человека — пилота. Поэтому нет ничего удивительного в том, что искусственный интеллект дрона потребует учесть его интересы и установить те маркеры, с которыми ему удобнее работать )

Стандартизированная разметка ВПП. Маркеры обозначают тип полосы, точку касания и отклонение от этой точки

Из рисунка видно — создатели разметки ВПП позаботились о том, чтобы четко были видны торцы полосы, причем они выполнены в виде вытянутых в сторону борта линий, чтобы обеспечить хорошее различение под низкими углами места — тот же принцип, что и в разметке пешеходного перехода. Возможно, для системы визуального зрения автоматической посадки VBLS этот набор маркеров не является оптимальным. Поэтому я поработал с разными классами изображений, характеристики которых такие как спектральные и корреляционные функции, инвариантность к изменению системы координат и возможности различения на фоне местности могут быть использованы для обнаружения и определения относительного положения маркера.

Регулярные маркеры

В эту группу сведены маркеры, которые имеют относительно фиксированную разметку, то есть минимальный элемент изображения имеет фиксированное значение. Он собственно и будет определять пространственное разрешение.

Регулярный маркер: шахматная доска

Псевдошумовой маркер

Шахматная доска — простейший из таких маркеров. Ее преимущество в том, что это сугубо техногенное изображение хорошо различимо на фоне природного ландшафта. Как и всякая функция с выраженным периодом, спектральные характеристики этого маркера не очень хороши, поскольку имеют высокий уровень боковых лепестков. С этой точки зрения лучше выглядит псевдошумовой маркер. Он имеет лучший вид автокорреляционной функции и поэтому обеспечивает лучшее различение. Кроме этого, псевдошумовых маркеров можно создать несколько с разными двумерными псевдослучайными последовательностями, что позволяет отличать их друг от друга на сцене.

Еще один 1D псевдошумовой маркер, который может нести функцию опознавания торцов полосы, является изображением производным от М-последовательности. Эти последовательности имеют отличные автокорреляционные характеристики и поэтому используются в радиолокации для модуляции запросных импульсов.

Псевдошумовой маркер: М-последовательность

Регулярная структура этих маркеров имеет один недостаток: при крене БЛА корреляционные характеристики существенно ухудшаются. Этот минус компенсируется размещением камеры на стабилизированном подвесе. Более существенный недостаток — изменение размера изображения в зависимости от дальности.

Фрактальные маркеры

Весьма интересными для изучения являются фрактальные изображения.

Фрактальный маркер: дерево Пифагора

Как известно, они состоят из самовоспроизводящихся элементов, размер которых изменяется по ходу построения изображения. Поскольку фрактал содержит один и тот же базовый элемент с самыми различными размерами, это дает ценное свойство: инвариантность маркера по отношению к дальности.

Так, в известном фрактальном изображении — дереве Пифагора один и тот же базовый элемент, состоящий из двух квадратов, углами поставленных на третий, воспроизводится с дискретом 45 градусов. При моделировании использовались восемь опорных изображений, соответствующих всем возможным углам поворота. Алгоритм показал устойчивость обнаружения в широком диапазоне дальностей.

Фрактальный маркер: обдуваемое дерево Пифагора

С убыванием размеров обнаруженных  базовых элементов растет их количество, что примерно поддерживает на одинаковом уровне отношение сигнал/шум.

Другой фрактал — это модификация дерева, известная как обдуваемое дерево Пифагора. В данном варианте количество градаций углов поворота больше чем 8, соответственно больше отчетов дальности, которые может позволить себе алгоритм.

Дополнительный плюс обдуваемого дерева — асимметричность, что также как и в случае псевдошумового маркера позволят различить два отдельных маркера.

Кольцевой маркер

Маркер: концентрические окружности

Поскольку объем ограничен, я не стал приводить данные по моделированию для всех описанных маркеров. Мне по ряду причин нравится кольцевой маркер, состоящий из концентрических окружностей. Его полезные свойства — инвариантность к крену и частичная инвариантность к изменению дальности. Частичная — потому что переход окружности одного радиуса в другую окружность будет происходить только в определенном, периодическом диапазоне дальностей.

Есть еще плюсы: достаточная энергетическая мощность изображения, позволяющая с хорошей точностью определить его центр. Это становится важным, когда после обнаружения маркера необходимо определить его координаты на сцене.

На рисунке показан простейший маркер. На самом деле, в силу различных причин, есть смысл делать переменный радиус и толщину колец. Это приводит нас к другой задаче — поиска оптимальной конфигурации маркера, которую предстоит исследовать более детально.

Для кольцевого маркера моделирование выполнялось в реальном времени: это как раз тот случай, когда я изменил Питону и написал приложения на C++. Кстати, раз мы коснулись быстродействия, следует отметить один существенный момент: каким бы хорошим не был алгоритм распознавания изображений, он ничего не стоит если он не будет работать на реальном железе в реальном масштабе времени. Еще один аспект, связанный с аппаратной платформой которая будет использоваться: скорее всего, без аппаратного препроцессора на ПЛИС вам не обойтись. А это значит, что алгоритм распознавания должен хорошо распараллеливаться.

Моделирование VBLS для кольцевого маркера

Как работает система. Маркер напечатан на обычном листе формата А4. Разрешение камеры всего 640х480, что даже лучше, поскольку с HD алгоритм будет работать гораздо эффективнее. Вывод приложения идет в три окна.

Самое большое, расположенное вверху это изображение сцены с однобитным квантованием, фактически это цветное изображение камеры, преобразованное в черно-белое с определенным порогом. Самое интересное окно расположено внизу слева. Это аккумулятор алгоритма, который накапливает данные о предпологаемом положении маркера в двумерной системе координат. Шаг сетки аккумулятора меньше, чем у сцены, поэтому оно меньше по размеру. Видно, что максимальное накопленное число аккумулятора соответствует наибольшей яркости в его фрейме, что определяет предполагаемые координаты маркера. По этим координатам в основном окне отрисовывается зеленый кружок. Как правило, он попадает в центр маркера почти на всем протяжении клипа )

Еще одно интересное окно — это гистограмма, составленная из распределения радиусов предполагаемого маркера. Пики гистограммы соответствуют каждому радиусу концентрических окружностей.

Клип демонстрирует, что центр маркера определяется с достаточно большой погрешностью. Но от этой части алгоритма высокая точность не требуется — требуется быстродействие. Зная небольшой фрагмент, в котором находится центр маркера — ROI, Region of Interest, будет работать точный алгоритм, основанный на анализе точек окружности. Поскольку размер поля изображения существенно снижается, производительность такой обработки не будет ухудшена.

Соображения производительности были на первом месте, по этому был сделан выбор в пользу C++. Кроме этого, в критичных местах я не использовал библиотеки OpenCV, поскольку опять таки следующий этап — параллелить операции и переносить их на FPGA. Вместо стандартных библиотек писал свои, в частности процедуру FHT, Fast Hough Transform, результат работы которой видно на аккумуляторе.