Измерение сердечного ритма по выбранной пространственной и спектральной области лица с помощью RGB-NIR камер

Частота сердечных сокращений (ЧСС) или частота пульса - один из важнейших показателей жизнедеятельности, который обеспечивает физиологическое и эмоциональное состояние человека. ЧСС обычно измеряется с помощью фотоплетизмографического (ФПГ) датчика, прикрепленного к коже человека. ФПГ измеряет свет, отраженный от кожи или проходящий через нее.

В недавних исследованиях было показано, что ЧСС можно оценить дистанционно с помощью цифровых камер. Подобно датчику ФПГ, камеру можно использовать в качестве устройства для измерения изменений интенсивности света на коже. Следовательно, ЧСС можно оценить по видео с кожи, как правило, на лице или руке. Бесконтактное измерение ЧСС с помощью видео позволяет использовать различные приложения дистанционного зондирования жизнедеятельности, такие как мониторинг новорожденных и прогнозирование состояния здоровья.

В настоящее время в большинстве методов оценки ЧСС на основе камер используется обычная камера видимого диапазона (далее RGB). Однако методы на основе камер RGB имеют ограничение, заключающееся в том, что в условиях низкой освещенности или интенсивной флуктуации трудно точно оценить ЧСС. Один из способов преодолеть это ограничение - использовать ближний инфракрасный свет (NIR) и NIR камеру.

Чтобы повысить надежность оценки ЧСС по камерам, ученые из IEEE предложили новый метод с использованием камеры, работающей      в видимой и инфракрасной области спектра (RGB-NIR). В отличие от существующих методов, данный подход с использованием RGB-NIR видео охватывает большие области в видимой и ближней ИК-области. Это обеспечивает надежную оценку ЧСС при различных условиях освещения, при которых существующие методы на основе камеры RGB или NIR не могут точно оценить ЧСС.

Предлагаемый метод оценки

На рисунке 1 показана общая структура предлагаемого алгоритма оценки ЧСС, которая сделана на основе видео записанного в формате RGB-NIR. Этот алгоритм основан на методе, который случайным образом и многократно выбирает два участка лица в канале G. Однако при использовании только канала G все еще трудно точно оценить ЧСС в условиях низкой освещенности или флуктуаций окружающего освещения. Это общее ограничение методов на основе камеры RGB. Чтобы преодолеть ограничение, данный алгоритм также выбирает два участка лица в NIR-канале. Чтобы еще больше повысить надежность и универсальность метода, алгоритм использует одновременно как G, так и NIR каналы в пределах одного участка лица. Из этих наборов пространственно и спектрально выбранных пар фрагментов алгоритм автоматически выбирает подходящие пары для оценки ЧСС на основе слияния гистограмм ФПГ.

Рисунок 1. Общая схема алгоритма оценки ЧСС из видео лица в формате RGB-NIR.

Экспериментальные результаты

Чтобы оценить эффективность метода, были проведены эксперименты при различных условиях освещения. В экспериментах приняли участие 20 человек как разного пола, так и разного возраста (от 20 до 60 лет). Была использована камера RGB-NIR с двойной ПЗС-матрицей (AD-130GE, JAI Ltd.) для одновременной записи видео лиц в RGB и NIR. Видео записывалось в течение 30 секунд с разрешением 1296 × 964, глубиной цвета 12 бит и частотой 30 кадров в секунду. Испытуемых просили есть на стул, который располагался на расстоянии 1,5 м от камеры. Контактный датчик ФПГ был прикреплен к пальцу пациента для получения эталонной ЧСС. Чтобы оценить надежность предлагаемого метода, были сняты видео лица при четырех условиях освещения. Был использован флуоресцентный (FL) свет для видимых длин волн и светодиодный NIR свет.

На рисунке 2 показано сравнение точности оценки ЧСС при различных условиях освещения. Был оценен процент испытуемых, у которых абсолютная ошибка в ударов в минуту (BPM) меньше порогового значения. Каждый результат подробно обсуждается ниже.

Уже применяемые методы условно обозначены как: Poh-RGB – исследование проводится по всему лицу и во всех каналах видимого света, Poh-RGBN – исследование проводится по всему лицу и во всех каналах видимого и инфракрасного света, Lam-G – исследование проводится по случайно выбранным областям лица и в зеленом канале видимого света, Lam-NIR – исследование проводится по случайно выбранным областям лица и в инфракрасной области, Proposed – исследуемый метод.

Рисунок 2. Сравнение точности оценки ЧСС

Первый эксперимент (a):

Освещение FL (600 люкс) и NIR. Поскольку это условие обеспечивает достаточное освещение как для RGB, так и для NIR-видео, Lam-G, Lam-NIR и исследуемый метод дают аналогичные результаты. Эти методы включают в себя процесс случайного выбора областей сканирования, способствуя более точной оценке ЧСС, чем методы Poh-RGB и Poh-RGBN.

Второй эксперимент (b):

Освещение FL (600 люкс). Это условие предполагает ситуацию, когда инфракрасный свет недоступен или не нужен, например, в дневное время. В такой ситуации исследуемый метод автоматически работает как метод на основе камеры RGB, обеспечивая результат, аналогичный результату метода Lam-G. Напротив, метод Lam-NIR не работает для этого типа освещения из-за отсутствия света NIR.

Третий эксперимент (c):

Освещение FL (50 люкс) и NIR. Это состояние низкой освещенности, при котором методы на основе камеры RGB не могут точно оценить ЧСС. В таких условиях Lam-NIR и исследуемый метод показывают наилучшие результаты.

Четвертый эксперимент (d):

Освещение FL (50 люкс) и NIR. Кроме условий низкой освещенности было добавлено колебание яркости света. Это сложное условие для методов, основанных на RGB-камерах, поскольку видео записывались как в условиях слабого освещения, так и при колебаниях освещенности в видимой области. Таким образом, трудно точно оценить ЧСС методами Poh-RGB и Lam-G. Исследуемый метод, напротив, может работать как NIR камера и обеспечивать точный результат.

Среднее значение (e): 

Методы Lam-G и Lam-NIR со случайным выбором областей сканирования более надежны, чем методы Poh-RGB и Poh-RGBN. Однако методы LamG и Lam-NIR не могут точно оценить ЧСС в некоторых условиях освещения. Исследуемый метод позволяет точно оценить ЧСС при различных условиях освещения и достигает абсолютных ошибок более 3 ударов в минуту для более чем 90% испытуемых.

Заключение:

Был предложен новый метод оценки ЧСС из видео лица в RGB-NIR, основанный на автоматическом пространственном и спектральном выборе подходящих участков лица. Экспериментальные результаты для 20 испытуемых продемонстрировали, что данный метод может надежно оценить ЧСС при различных условиях освещения, включая условия, при которых существующие методы на основе RGB или NIR-камер не справляются. Поскольку данный метод охватывает как видимые, так и невидимые области ближнего инфракрасного излучения, в будущем ожидается широкий спектр приложений, таких как дневной и ночной мониторинг сердечного ритма.

© JAI

Компания INSCIENCE помогает своим заказчикам решать любые вопросы и потребности по продукции JAI на территории РФ