Фотоакустическая микроскопия является перспективным методом медицинской визуализации благодаря высокой чувствительности к оптическому поглощению тканей. Метод сочетает лазерное возбуждение объекта и регистрацию возникающих ультразвуковых волн, позволяя визуализировать сосудистую сеть, микроокружение опухолей и другие структуры с высоким пространственным разрешением.
Главное ограничение технологии заключается в невозможности одновременно обеспечить большую глубину резкости, высокую скорость регистрации и сохранение качества изображения. Использование пучков Эйри частично решает проблему глубины резкости, однако сопровождается появлением боковых лепестков, снижающих контрастность. Второе ограничение связано с необходимостью полного сканирования по критерию Найквиста: при исследовании крупных объектов время регистрации становится слишком большим для клинического применения.
За последние годы появились отдельные методы сверхразрешающей реконструкции изображений и алгоритмы подавления артефактов на основе глубокого обучения. Но практически все они рассматривают эти задачи независимо друг от друга. Цель данной работы заключалась в создании единой технологии, способной одновременно устранять артефакты пучков Эйри, восстанавливать изображения после разреженного сканирования и обеспечивать высокоскоростную фотоакустическую микроскопию больших объемов тканей.
Раздел 1 "Аппаратная платформа и архитектура многозадачной реконструкции"
В основе разработанной системы ML-LR-PAM лежит сочетание аппаратных и программных решений. Оптическая часть использует наносекундный импульсный лазер Huaray Poplar-532-10B с длиной волны 532 нм. Фазовую модуляцию выполняет пространственный модулятор света UPOLabs HDSLM80R, который оснащён кубической фазовой маской. После Фурье-преобразования объективом Olympus UPlanSApo формируется пучок Эйри. Для регистрации фотоакустического сигнала применяется кольцевой ультразвуковой преобразователь с центральной частотой 50 МГц, а данные записываются с частотой дискретизации 250 Мвыб/с.
Для обучения алгоритма использовались изображения микросфер и сосудистой сети мозга мыши. Исходный массив включал 500 изображений, которые после генерации различных вариантов функции рассеяния точки (PSF) были расширены до 2000 обучающих изображений; тестовая выборка содержала 50 изображений. Обучение проводилось на протяжении 200 эпох при размере пакета 8 и скорости обучения 0,002.
Ключевым элементом программной части стала разработанная авторами сеть SW-CycleGAN. В отличие от классической CycleGAN она объединяет механизм внимания Scaled Dot-Product Attention (SDAM) и функцию потерь Wasserstein Loss. Благодаря этому нейросеть одновременно решает две задачи: удаляет артефакты боковых лепестков и выполняет сверхразрешающую реконструкцию после разреженного сканирования.
Рисунок 1: Принцип работы системы ML-LR-PAM. (a) Система микроскопии ML-LR-PAM с возбуждением пучком Эйри. (b) Фазовая маска, пучок Эйри, сформированный в фокальной плоскости объектива, и профиль пучка Эйри вдоль направления распространения. (c) Схема двумерного растрового сканирования с разреженной выборкой и многозадачной реконструкции сверхразрешения на основе сети SW-CycleGAN, совмещенной с устранением артефактов, характерных для пучка Эйри. (d) Функция рассеяния точки (PSF) пучка Эйри при параметре α = 0,5; 1 и 2. FS — сканирование с полной выборкой; SS — сканирование с разреженной выборкой.
Раздел 2 "Разреженное сканирование без потери качества"
При полном сканировании область размером 4 × 4 мм регистрировалась с шагом 2 мкм, что требовало записи 2000 × 2000 измерительных точек. Для ускорения работы использовались режимы разреженного сканирования с шагами 4, 8 и 10 мкм.
Наиболее интересные результаты были получены при шаге 10 мкм. В этом случае скорость регистрации возрастала примерно в 25 раз по сравнению с классическим режимом полного сканирования. Дополнительное двукратное разрежение данных (2× downsampling) эквивалентно уже 100-кратному ускорению процесса визуализации. В результате время исследования области 4 × 4 мм уменьшилось приблизительно с 13,3 до 3,3 минуты.
Подобное ускорение само по себе приводит к потере пространственного разрешения. Именно поэтому авторы совместили разреженное сканирование с многозадачной реконструкцией, позволяющей восстановить исходное качество изображения практически без аппаратного усложнения системы.
Раздел 3 "Ключевые результаты и инженерная ценность"
Основным количественным критерием оценки качества реконструкции стал показатель PSNR (Peak Signal-to-Noise Ratio). Для сравнения авторы использовали несколько подходов. Richardson–Lucy (RL) представляет собой классический алгоритм деконволюции, который устраняет размытие изображения на основе известной функции рассеяния точки (PSF), однако чувствителен к ошибкам в ее задании и плохо справляется со сложными артефактами. Комбинированные методы RL + FD U-Net и RL + Res U-Net выполняют обработку последовательно: сначала RL подавляет боковые лепестки пучка Эйри, после чего сверточные сети FD U-Net или Res U-Net восстанавливают пространственное разрешение изображения. В отличие от них разработанная авторами SW-CycleGAN решает обе задачи одновременно в рамках единой многозадачной архитектуры, используя механизм внимания SDAM и функцию потерь Wasserstein Loss. Это позволило получить значения PSNR 20–23 дБ, тогда как методы RL + FD U-Net и RL + Res U-Net обеспечивали лишь 17–19 дБ. Более высокое значение PSNR сопровождалось лучшим подавлением боковых лепестков, повышением контрастности и более точным восстановлением мелких сосудистых структур. Кроме того, авторы оценили устойчивость алгоритмов к несовпадению функции рассеяния точки между обучающими и тестовыми данными. Даже при существенных различиях PSF сеть SW-CycleGAN демонстрировала примерно трехкратное снижение ошибки по сравнению с классическим алгоритмом Richardson–Lucy, что свидетельствует о ее значительно большей устойчивости к неточностям модели оптической системы.
Практическая эффективность технологии была подтверждена не только на моделируемых данных, но и на реальных объектах: скелетизированных листьях растений, сосудистой сети головного мозга мышей, пигментных полосах взрослых рыбок Danio rerio, а также на изображениях микроокружения меланомы и базальноклеточного рака кожи мышей. Во всех случаях алгоритм обеспечивал более высокое отношение сигнал/фон, лучшее восстановление сосудистой архитектуры и заметное снижение уровня фоновых артефактов по сравнению с традиционными методами обработки.
Рисунок 2: Принцип работы SW-CycleGAN и архитектуры глубоких нейронных сетей. (a) Обучение проводится с использованием данных моделирования кровеносных сосудов и микросфер. Прямое и обратное преобразования генераторов (GX и GY) обучаются одновременно с соответствующими дискриминаторами (DX и DY), которые постепенно совершенствуют свою способность отличать сгенерированные синтетические изображения от реальных исходных примеров. (b) Детальное представление генератора GX на основе модуля SDAM
Таблица 1. Сравнение метода SW-CycleGAN с другими методами на основе набора данных микрососудов головного мозга мыши]. (a) В первом столбце (LR) показаны исходные изображения низкого разрешения, полученные с использованием пучков Эйри и параметров α = 0,5, α = 1 и α = 2, с последующим уменьшением разрешения в 2 раза. Столбцы со второго по пятый демонстрируют результаты применения комбинированных методов RL + FD U-Net и RL + Res U-Net, предлагаемого подхода многозадачного обучения SW-CycleGAN, а также эталонные данные (GT) для симуляции.
Заключение
Предложенная технология ML-LR-PAM демонстрирует, что повышение скорости фотоакустической микроскопии не обязательно требует дорогостоящей модернизации аппаратуры. Комбинация возбуждения пучками Эйри, разреженного сканирования и многозадачной нейросетевой реконструкции позволяет одновременно увеличить глубину резкости, восстановить пространственное разрешение и эффективно подавить артефакты. Разработанный подход является перспективной основой для быстрого мониторинга сосудистых патологий, оптической биопсии, контроля эффективности лечения, исследований опухолевого микроокружения и других задач, где критичны высокая скорость регистрации и качество изображений. Однако необходима дальнейшая проверки технологии при использовании объективов с высокой числовой апертурой и интеграции метода с другими системами оптической визуализации.
*Источник: https://doi.org/10.1364/PRJ.544960
Компания INSCIENCE предлагает широкий спектр оборудования — от микроскопов и объективов до чувствительных камер и программных комплексов анализа изображений. Ознакомиться с каталогом решений можно на сайте INSCIENCE.
Для подбора оптимальной конфигурации под Ваши задачи воспользуйтесь кнопкой запроса.