2024

Разработка базы текстур для решения задач обнаружения слабоконтрастных малоразмерных объектов в изображениях с пространственно-нестационарным фоном посредством применения нейросетей

Одной из актуальных задач непрерывного мониторинга ближнего околоземного пространства является обнаружение потенциально опасных объектов посредством анализа изображений, получаемых в результате космической и аэросъемки. Частным вариантом этой задачи является обнаружение на случайном пространственно-нестационарном фоне слабоконтрастных малоразмерных объектов, удаленных от съемочной аппаратуры настолько, что размер и форма сигнала от них определяется в основном характеристиками оптического и электронного каналов системы регистрации. При регистрации матричным фотоприемным устройством такие «точечные» объекты проявляются как локальные аномалии фоновой составляющей изображения, зависящие от их положения относительно фоточувствительных элементов (ФЧЭ) устройства. Практическое решение задачи их обнаружения с помощью нейросети требует предварительного обучения сети на представительном множестве изображений реалистичных фонов с аномалиями, обусловленными наличием в зоне наблюдения малоразмерных объектов, подлежащих обнаружению. Для формирования такого множества: 1 – рассмотрены различные варианты параметрического представления моделей локальных аномалий; 2 - создана база изображений пространственно-нестационарных фонов, характерных для дистанционного мониторинга земной поверхности, 3 – разработано ПО для формирования обучающих данных, содержащих наборы размеченных синтезированных изображений фона с аномалиями.

Параметрическое представление позволяет моделировать локальные аномалии в различных положениях относительно ФЧЭ. На данных, полученных при стендовых испытаниях, показано, что для одного из перспективных вариантов аппаратуры формирования крупноформатных изображений земной поверхности моделью изображения малоразмерного объекта (локальной аномалии) может служить функция , где . На рисунке 1 приведены полученные при стендовых испытаниях изображения малоразмерного объекта (а), его модели (б) и разности (в) между первым и вторым изображениями. В разности практически отсутствует детерминированная составляющая, что подтверждает соответствие модели реальным данным. 

База изображений фона содержит серии снимков земной поверхности, полученных, в основном, при трех различных высотах съемки: 1 – геостационарная орбита (спутники Electro L1 – Electro L4, высота над уровнем моря 35 786 км, 3 спектральных канала от 0.5 до 0.9 мкм, разрешение ~1000 м/пиксель, различные погодные условия);  2 – околокруговая солнечно-синхронная орбита  (спутники Ресурс-П, средняя высота над поверхностью Земли – 483 км, 6 спектральных каналов от 0.45 до 0.9 мкм, разрешение ~30 м/пиксель); 3 – аэросъемка (БПЛА,  стандартные RGB каналы, высота над поверхностью Земли 150 – 500 м, разрешение зависит от высоты полета, на малой высоте ~0.05 м/пиксель). На рисунке 2 приведены примеры фрагментов изображений фона из базы.

В обучающих наборах синтезированных изображений пространственно-нестационарным фоном являются фрагменты снимков, полученных спутником Electro, а локальными аномалиями – изображения, сформированные согласно представленным выше моделям. Синтезированное изображение, содержащее фон и локальных аномалий, строится в виде

Здесь  – фоновое изображение размером  пикселей,  – количество аномалий,  – дискретная функция, соответствующая одной из моделей, описывающая распределение яркости в k-ой аномалии и определенная в малой окрестности  точки с координатами  Координаты  задаются случайным образом, но так, чтобы окрестности аномалий не перекрывались. Каждому синтезированному изображению соответствует таблица, содержащая данные о положении аномалий.

2023

Разработка методов компенсации изменений пространственно-нестационарного фона в последовательности изображений посредством локальных геометрических преобразований. Разработка метода формирования локальных моделей пространственно-нестационарного фона на основе анализа текущих внутрикадровых и межкадровых связей в последовательности изображений

Разработан метод компенсации изменений пространственно-нестационарного фона в последовательности изображений с помощью локальных геометрических преобразований, основанный на выявлении межкадровых связей и позволяющий приводить все изображения последовательности в единую систему координат. Предложен и реализован в ПО способ измерения расстояний до объектов по последовательностям снимков, полученным с разных точек съемки некалиброванной камерой с малым углом зрения, использующий приведение изображений к общей системе координат для измерения углов между линиями визирования объектов и точек съемки.

На рисунке приведены панорамы участка городской застройки с помеченными точками съемки и объектами, построенные по последовательностям кадров, снятых с левой (вверху), правой (в середине) и контрольной (внизу) точек, а в таблице 1 – расстояния, измеренные по крупномасштабным картам участка и вычисленные предлагаемым способом.

Панорамы, содержащие объекты и точки съемки

Таблица. Расстояния от точек съемки до объектов

Относительные ошибки оценок расстояний, полученных по сериям кадров, по порядку величины совпадают с ошибками непосредственных измерений по карте и не превышают 3%, что для многих практических задач является вполне приемлемым значением.

Исследованы два способа формирования локальных моделей пространственно-нестационарного фона на основе анализа внутрикадровых связей: в виде детерминированных функций с оцениваемыми параметрами и в виде реализации стационарного случайного процесса (ССП). Разработана методика оценивания параметров и построения моделей посредством линейной фильтрации подлежащего анализу изображения. На изображениях с двумя различными типами пространственно-нестационарных фонов, содержащих множество малоразмерных объектов различной формы и амплитуды, выполнено численное моделирование подавления фона и обнаружения объектов с применением двух детерминированных и одной ССП модели. Продемонстрировано преимущество последней при обнаружении слабых объектов в условиях обеспечения малой (<10^-4) вероятности ложной тревоги.

2022

Исследование методов обнаружения и сопровождения динамических объектов переменной яркости в последовательности изображений с пространственно-нестационарным фоном

В системах видеонаблюдения, использующих матричные фотоприемники (МФП), характерные размеры фоточувствительных элементов (ФЧЭ) приемника сравнимы с размерами функции рассеяния точки (ФРТ) оптики, вследствие чего изображение удаленного объекта в плоскости МФП покрывает площадь всего в несколько пикселей, а его форма и яркость существенно зависят от положения проекции объекта относительно решетки пикселей, жестко связанной с координатами ФЧЭ (рисунок 1).

Рисунок 1. Зависимость изображений малоразмерного объекта от его положения («тянучки» слева обусловлены подавлением низкочастотной составляющей в электронном тракте фотоприемника)

Предложен метод реализации многоканального линейного фильтра, учитывающий изменение формы и амплитуды изображений малоразмерных объектов при их движении. Метод основан на разложении изображения объекта на ортогональные составляющие, совокупность которых определяет яркость объекта и его положение относительно решетки ФЧЭ. Если фон представляет собой пространственно-нестационарный медленно изменяющийся во времени процесс, на предварительной стадии обнаружения применяется процедура подавления фона, разработанная ранее (2019, 2020 гг.). На рисунке 2 показаны: а – три «главных» фильтра, полученные разложением 169 экспериментальных изображений объектов, равномерно смещавшихся в пределах пикселя; б – векторы, полученные трехканальной фильтрацией изображений, приведенных на рисунке 1, и проекции их вершин на плоскость XY, характеризующие дробные координаты объекта; в – зависимость ошибок оценивания координат от отношения шум/сигнал в изображениях объекта.

а	б	в

Рисунок 2. Применение трехканальной фильтрации для оценивания дробных координат объекта

2021

Разработка математической имитационной модели двухкомпонентного пространственно-нестационарного фона с заданными статистическими характеристиками компонент

Разработана модель динамического двухкомпонентного фона, каждая из компонент которого представляет собой случайную текстуру, определяемую своей автокорреляционной функцией (АКФ). Согласно свойствам линейных преобразований случайных процессов, реализацию двумерного случайного процесса с заданной АКФ можно получить, пропустив реализацию двумерного белого шума через фильтр с частотной характеристикой, определяемой Фурье-образом. Изменяя реализации шума и параметры АКФ, можно моделировать фоны с различными статистическими свойствами. Размещение и соотношение компонент в кадре, реализующие пространственную нестационарность, обеспечивается бинарными масками, которые можно получить пороговым сечением функции, формируемой аналогично компонентам фона. Пример реализации двухкомпонентного фона приведен на рис. 1.

Рис.1. Реализация двухкомпонентного фона (слева) и АКФ светлой компоненты (справа)

2020

Исследование влияния пространственной неоднородности фотоприемника на качество подавления фона в задаче обнаружения малоразмерных объектов на пространственно-нестационарном фоне

Предложен метод коррекции структурной помехи в паре кадров, отличающихся сдвигом фона, не требующий выравнивания чувствительности приемника посредством его предварительной  калибровки. 

Учет полученной оценки при формировании разностного кадра позволяет многократно снизить остаточный фон, практически не ухудшая изображений объектов. На рисунке 1, а и б, приведены два кадра последовательности с пространственно-нестационарным фоном и слабоконтрастными подвижными объектами, сформированной сканирующим матричным ИК приемником, с неравномерной чувствительностью (СКО – 10% от среднего значения). Рисунки 1, в и г,  демонстрируют результаты межкадровой обработки без (в) и с учетом (г) неравномерности чувствительности, оцененной предлагаемым способом. СКО фона в исходных кадрах – 53.3, СКО остаточного фона без учета неравномерности – 29.9, с учетом неравномерности – 5.0. Среднее значение амплитуды объектов ~27, уровень случайного шума фотоприемника ~ 2.5. Все данные представлены в одинаковых единицах.

Рис. 1. Коррекция неравномерности чувствительности матричного фотоприемника без предварительной калибровки

Оценивание движения фона и объектов в последовательности изображений, в частности, выполняется посредством сопоставления особых точек – локальных фрагментов изображений с устойчивыми к яркостным и геометрическим преобразованиям характеристиками.

Сравнение и статистические характеристики детекторов особых точек изображений

Предложен способ оценки качества детекторов/дескрипторов особых точек, основанный на анализе числа правильных и ложных соответствий в множестве пар тестовых изображений. Качество обнаружения истинных соответствий характеризуется распределением числа пар исходных и геометрически искаженных изображений по количеству найденных на них соответствий. Ложные соответствия представлены распределением пар случайно выбранных из тестового множества изображений по тому же параметру. Тестовым  множеством в работе служит набор из 10000 изображений из базы MIRFLICKR (https://press.liacs.nl/mirflickr/), размер изображений ~ 400×400 пикселей, В качестве примера на рисунке 2 приведены указанные распределения для двух распространенных детекторов/дескрипторов: BRISK и AKAZE. По оси абсцисс указано количество соответствий на паре изображений, а по оси ординат – процент пар изображений из тестового множества.

Рис.2. Распределение числа правильных и ложных соответствий для детекторов BRISK и AKAZE (слева – BRISK, справа – AKAZE)

Синим цветом изображены графики числа правильных соответствий, красным – числа ложных. Пунктирными и сплошными линиями показаны графики для различных параметров детекторов. Из графиков видно, что только при корректно выбранных параметрах детекторов можно отличить пару искаженных изображений одной и той же сцены от пары случайно выбранных изображений. Предложенный способ позволяет выбрать правильные параметры детекторов/дескрипторов.

2019

Подавление пространственно-нестационарного фона с резкими перепадами яркости в последовательностях изображений движущихся малоразмерных слабоконтрастных объектов

Предложен новый, основанный на компенсации дробных межкадровых сдвигов, алгоритм подавления пространственно-нестационарного фона в последовательностях изображений движущихся малоразмерных слабоконтрастных объектов. В алгоритме предприняты меры, гарантирующие устойчивость к ситуациям, когда невозможно получить достоверную оценку направления сдвига, что обеспечивает подавление фона даже в области резких изменений яркости практически до уровня шума регистрации, что иллюстрируется рисунком 1. На исходном изображении СКО случайного шума составляет около 0.5% от СКО фона, а амплитуда объектов - примерно 15 СКО шума, поэтому объекты полностью маскируются фоном, тогда как после обработки обнаруживаются с вероятностью ~ 95% при вероятности ложной тревоги ~ 10^-5 .

Рис. 1 - Подавление фона, рамками ограничены фрагменты, содержащие движущиеся объекты: а – исходный кадр последовательности, б – компенсация целочисленного сдвига, в – компенсация линейной части дробного сдвига, г – компенсация остаточного дробного сдвига

Применение нейронных сетей в задаче обнаружение объектов на пространственно-нестационарных фонах

Для обнаружения неподвижных объектов разработан подход, заключающийся в комбинации согласованной фильтрации и сверточных нейронных сетей. На первом этапе обработки используется классический согласованный фильтр и пороговая обработка, а затем полученные фрагменты тестируются с помощью предварительно обученной нейронной сети. В экспериментах на модельных данных при наблюдении объекта с интенсивностью, равной СКО фоновой компоненты при фиксированной вероятности обнаружения, равной 0,99 вероятность ложной тревоги была уменьшена с 1.59*10^-4 до 1.11*10^-4. На тех же данных при вероятности обнаружения равной 0,88, вероятность ложной тревоги была снижена с 8.13*10^-5 до 4.94*10^-5. Таким образом, в указанном диапазоне вероятностей обнаружения удалось снизить вероятность ложной тревоги на 40 – 60 процентов.

2018

Аппроксимация пространственно-нестационарного фона в многоцветных изображениях локально стационарными линейными моделями

В задаче обнаружения малоразмерных слабоконтрастных объектов в последовательностях изображений с интенсивным пространственно-нестационарным фоном наиболее эффективное подавление фона, обеспечивающее высокую вероятность обнаружения при заданной вероятности ложной тревоги, достигается за счет применения метода межкадровой обработки, основанного на предсказании текущего фона по предыдущим кадрам последовательности. Применимость метода в бортовой аппаратуре космического мониторинга Земли ограничена необходимостью хранения на борту больших объемов данных и возможностью обнаруживать только динамические объекты. Разработан основанный на линейном прогнозе метод совместной обработки спектральных составляющих двухцветных изображений (полученных в двух областях спектра), содержащих мощный пространственно-нестационарный фон. В применении к задаче обнаружения статических малоразмерных объектов метод позволил в несколько раз (от двух до десятков) снизить вероятность ложных тревог. Рис. 1 иллюстрирует процесс совместной обработки двухцветного изображения (спутник Landsat 7, спектральные каналы 0.63÷0.69 и 0.775÷0.90 мкм), с нанесенными на него слабоконтрастными объектами.

Обнаружение малоразмерных объектов в изображениях, зарегистрированных с использованием кругового микросканирования

Для повышения надежности обнаружения малоразмерных объектов матричным фотоприемником применяется микросканирование, позволяющее построить изображение с шагом, меньшим, чем шаг размещения фоточувствительных элементов в приемнике. Для обнаружения малоразмерных объектов в изображениях, зарегистрированных с использованием кругового микросканирования, разработан способ формирования согласованного фильтра, учитывающий изменения наблюдаемой формы объекта, характерные для рассмотренной системы сканирования, что позволило увеличить отношение сигнал/шум на 10 процентов.

2017

Обнаружение и сопровождение объектов в последовательности изображений с применением методов машинного обучения

1. Разработан новый метод обнаружения слабоконтрастных объектов, основанный на создании в процессе обучения контекстной модели фоновой составляющей совокупности изображений (рис. 1). Верификация метода выполнена на совокупности изображений, полученных системой рентгенографического досмотра авиапассажиров. Контекстная модель построена на обучающей выборке из 2 218 изображений размером 800x1000 пикселей.

Рис. 1. Схема формирования контекстной модели фоновой составляющей совокупности изображений

На контрольной выборке из 100 размеченных экспертом изображений, содержащих по 2000 фрагментов, вероятность правильной классификации фрагментов (фон/объект) составила ~82% при вероятности ошибок ~11%. Рис. 2 иллюстрирует результаты обнаружения аномальных фрагментов изображения, не удовлетворяющих построенной модели фона.

Рис. 2. Обнаружение аномальных фрагментов. А - изображение из контрольной выборки, Б - фрагменты, не соответствующие модели фона (подтверждены экспертной оценкой)

2. Для построения траекторий движущихся объектов в последовательности изображений предложена динамическая модель объекта в виде набора особых точек, состав которых изменяется в процессе слежения в зависимости от их меры близости к предыдущим представлениям объекта и окружающего фона. На тестовом наборе из 20 видеопоследовательностей предложенная модель (DCMT) обеспечила снижение средней ошибки в координатах на 9.4% (рис. 3, а) и среднего числа разрывов траекторий на 9.6% (рис. 3, б) по сравнению с аналогичной по вычислительной сложности моделью с неизменным составом особых точек (CMT).

Рис. 3. Применение динамической модели объекта для построения траекторий объектов в видеопоследовательности

3. Предложен способ расчета линейного согласованного фильтра для изображений малоразмерных объектов, сформированных посредством микросканирования, учитывающий обусловленное способом формирования изменение автокорреляционной матрицы шума. Показано, что при размерах объекта, сопоставимых с размером фоточувствительных элементов приемника, предлагаемый фильтр позволяет увеличить отношение сигнал/шум на 10 – 15%.

2016 

Моделирование искажений, возникающих в сканирующем приборе на основе многорядного фотоприемника в режиме ВЗН

Матричные «смотрящие» приборы принципиально не способны обеспечить шаг пространственной дискретизации регистрируемого изображения, меньший, чем размер фоточувствительного элемента приемника, что приводит к ухудшению качества обнаружения малоразмерных объектов. Уменьшение шага дискретизации достигается посредством сканирования изображения относительно фотоприемника. Один из перспективных способов сканирования реализуется применением нескольких пространственно разнесенных фотоприемных субматриц, работающих в режиме временной задержки-накопления [1].
С применением созданной ранее программной реализации математической модели сканирующего фотоприемного устройства, имитирующей формирование изображений наблюдаемой сцены при различных параметрах оптического тракта, топологии, электрических и шумовых характеристиках приемника и режимах сканирования, объяснено возникновение искажений, существенно нарушающих структуру изображений малоразмерных объектов и фона. На рис. 1,(а-в) приведены примеры искажений, предсказанных с помощью модели и обнаруженных при испытаниях устройства.

а		б		в

  Рис. 1. Искажения в изображениях, формируемых в режиме ВЗН фотоприемником с субматричной структурой при сканировании, обусловленные (а- несовпадением направления ВЗН-каналов и направления сканирования, б – взаимным влиянием соседних каналов, отклонением скорости сканирования от номинального значения)

Классификация типов поведения лабораторных животных

В рамках совместных с ИЦиГ СО РАН работ по анализу поведения лабораторных животных разработан классификатор поведения, использующий в качестве входных данных последовательности дальностных изображений. Проведено испытание работоспособности предложенного классификатора на модельных данных. В ходе испытания классификатор показал точность распознавания в 99% на 500 последовательностях, содержащих по 30 изображений.

1. В.Д. Бочков, Б.Н. Дражников, П.А. Кузнецов, К.В. Козлов, В.Н. Соляков. Особенности ФПУ с режимом ВЗН формата 1024x10 на основе КРТ. //Прикладная физика, 2014, №1, с. 58-61

2015 

Программная модель оптико-электронной системы обнаружения малоразмерных объектов

Создана программная имитационная модель оптико-электронной системы обнаружения малоразмерных объектов. В модели реализованы:

• Генерация входных последовательностей изображений, содержащих малоразмерные динамические объекты и пространственно-неоднородный фон.
• Управление параметрами системы регистрации изображений, в частности: формой ФРТ и параметрами дисторсии оптической системы, топологией матричного фотоприемника, индивидуальными светосигнальными и шумовыми характеристиками фоточувствительных элементов (ФЧЭ) и их взаимным влиянием.
• Режимы сканирования и временной задержки-накопления.

Первичная обработка изображений, реализованная в модели, ориентирована на обнаружение малоразмерных объектов и обеспечивает выполнение:

• коррекции неоднородности характеристик ФЧЭ,
• оценивание статистических моментов фрагментов изображений,
• межкадровой обработки изображений с целью подавления фона,
• линейной фильтрации изображений и выделения объектов.

Получены оценки эффективности алгоритмов обнаружения малоразмерных подвижных объектов в последовательности изображений, содержащих пространственно-неоднородный фон, в зависимости от условий регистрации изображений. Аналитически и посредством имитационного моделирования получены оптимальные соотношения между параметрами оптики, фотоприемника, режима регистрации и алгоритмов обработки, обеспечивающие обнаружение объектов минимальной амплитуды с заданной вероятностью при заданной вероятности ложных тревог.

2014

Разработка методов и алгоритмов совместного анализа последовательности изображений для обнаружения малоразмерных и протяжённых объектов

Выполнена сравнительная оценка эффективности методов подавления стационарного фона, основанных на формировании оценки фона текущего кадра посредством его интерполяции по соседним кадрам в последовательности. Показано, что остаточный фон содержит две составляющие: 1) обусловленную присутствием во входном сигнале шума регистрации, 2) связанную с избранной моделью интерполяции и параметрами дискретизации регистрируемого изображения. Определена зависимость дисперсии второй составляющей от пространственного спектра исходного фона и параметров системы регистрации и показано, что при условии, когда изображения формируются в соответствии с критерием Найквиста, дисперсия остаточного фона может быть снижена до величины удвоенной дисперсии шума регистрации. С другой стороны, аналитически показано и подтверждено численным экспериментом, что нарушение этого условия приводит к резкому падению эффективности межкадровой обработки.

Экспериментально подтверждено предположение, что предварительное оценивание смещения фона и последующая интерполяция с помощью априори заданного интерполяционного фильтра обеспечивает почти такое же качество подавления, что и фильтрация, основанная на оптимальном линейном прогнозе. Эта процедура обеспечивает построение устойчивой оценки фона при двух-трехкратном по сравнению с ОЛП сокращении вычислительных затрат.

На основе этих результатов создано программное обеспечение, реализующее первый этап задачи обнаружения динамических объектов (выделение множества максимумов) в последовательностях изображений с пространственно-нестационарным фоном.

2013

Математическая модель формирования дискретных изображений в сканирующих оптико-электронных системах

Разработана математическая модель формирования дискретных изображений в сканирующих оптико-электронных системах, использующих для увеличения отношения сигнал/шум в качестве датчика фотоприемные матрицы, работающие в режиме «временная задержка –накопление» (ВЗН). Основное назначение модели – исследование эффективности бортовой аппаратуры регистрации и обработки космических изображений на этапе ее проектирования и изготовления. Для выявления параметров, определяющих качество формируемых изображений, выполнен теоретический и численный анализ основных элементов таких систем: объектива, фотоприемной матрицы, электронного тракта и сканирующего устройства. Модель учитывает влияние на формируемое изображение следующих характеристик оптико-электронного тракта системы: функция рассеяния точки (ФРТ), размер поля обзора, угловой размер элементарного поля зрения, дисторсия объектива, топология фотоприемной матрицы, размер, режим опроса, передаточные и шумовые характеристики фоточувствительных элементов матрицы, нестабильность скорости движения сканирующего устройства, разрядность аналого-цифрового преобразования.

Предложены три варианта моделей ФРТ объектива, соответствующие различным уровням аберраций, и представление общей ФРТ оптического тракта, учитывающей пространственное интегрирование на фоточувствительных элементах и «смаз», обусловленный сканированием. Определен диапазон изменения скорости сканирования (~ 2 %), при котором ФРТ оптического тракта может считаться неизменной, что упрощает модель и позволяет использовать при моделировании быстрые алгоритмы свертки. Оценена зависимость смещения соседних отсчетов формируемого изображения от топологии и режима опроса фотоприемной ВЗН матрицы, обусловленная дисторсией объектива, получена оценка максимально допустимой дисторсии при формировании изображений «точечных» объектов ВЗН матрицей.