Почему распознавание лиц в масках не работает?

Технология распознавания лиц не идеальна, и плохо подходит для идентификации, так лицо не является уникальным в отличие от, например, отпечатков пальцев, которые уникальны для даже для однояйцевых близнецов. Жителю Москвы уже прилетал штраф за нарушения карантина, хотя он по его словам карантин не нарушал, система распознавания зафиксировала его брата близнеца. 

Но, даже не считая однояйцевых близнецов, вокруг полно двойников. Фотограф Франсуа Брюнель ищет и находит похожих до жути, но незнакомых людей в городах по всему миру.

С приходом коронавируса, все поголовно ходят в медицинских масках и по хорошему, нужно бы признать, система распознавания потерпела фиаско и свернуть ее по-тихому. Так если лицо скрыто, то и распознать его нельзя. Однако бюджеты, выделяемые на системы распознавания лиц, сами себя не попилят, и разработчикам, и заказчикам пришлось заявлять, что медицинская маска в распознавании не помеха.

• В МВД, например,  заявили, что маски в принципе не влияют на распознавание лиц при помощи камер видеонаблюдения
• Сооснователь NtechLab Александр Кабаков заявил что «маска вряд ли сработает для защиты от алгоритма».
• Наши продукты могут распознать лицо даже при использовании медицинской маски, заявил председатель правления компании VisionLab Александр Ханин

И таких заявлений масса, разработчики алгоритмов и реального оборудования начали поставлять решения для распознавания лиц в маске быстрее, чем быстрее, чем российская ракета «Циркон» достигает скорости 27 махов ( возможно только в мечтах «Российской газеты»).

Почему разработчики заявляют, что лица в маске можно распознать?

Есть мнение, что им кажутся очень привлекательными суммы, которые власти планируют потратить на развитие систем с искусственным интеллектом и на системы видеонаблюдения. Только на 2019 год в бюджете Москвы на городскую систему видеонаблюдения выделено 7,5 млрд. руб. И перспективы такие суммы потерять заставляет сердца российских технократов стучать тревожно.

С моей точки зрения, такие рассуждения как минимум близоруки, не патриотичны, а главное не интересны, потому что разобраться в том каким образом работает распознавание лиц в масках, гораздо интересней, так как из этого очень логично вытекает, почему в реальных проектах это работать не будет.

Как работает распознавание лиц в масках?

Для начала давайте признаем факт, что распознавание в масках уже работает, например в Ашане. Всю мощь работы этой системы на себе ощутил Антон Леушин, который решил сделать привычную для многих вещь сходить в гипермаркет.

Однако за три недели до Антона в гипермаркет Ашан зашел дядя среднего телосложения в черной кепке, черной кофте, синих джинсах, с обычной белой медицинской маской на лице, из-под которой была видна борода. Он набрал элитного алкоголя на сумму 78 тысяч рублей, но расплачиваться не стал, а просто свалил в закат, не прощаясь.

Когда Антон пришел в Ашан, система распознавания лиц уверенно признала в Антоне безвестного дядю, после этого он был немедленно задержан и доставлен в ближайшее отделение полиции, где он и провел следующие 5 часов своей жизни. После того как Антон вызвал адвоката (15000 рублей) у полицейских открылись глаза и они поняли, что это совершенно другой человек и конечно его отпустили.

Очевидный тезис — если не видно лица, то и распознавание по лицу провести нельзя получил реальное подтверждение.

Очевидно, что этот тезис и разработчикам систем распознавания лиц, тоже известен, однако они утверждают обратное, и с гордостью демонстрируют «успешные примеры» того как работает система. 

И действительно в условиях «лаборатории» распознавание лиц в масках может быть достаточно успешным, в реальных условиях Ашана это не работает от слова вообще. Давайте разбираться, как так вышло.

Почему разработчики заявляют, что система распознавания в масках работает?

Идея эта зиждется на нескольких ошибочных предпосылках, давайте разберем основные.

Ошибочная предпосылка №1. Медицинская маска закрывает только 40-50% лица, но оставшиеся 50-60% достаточны для успешной идентификации.  

И действительно, какое-то количество людей носят медицинскую маску так, что процентов 50 лица остается видимым. Однако есть множество людей, у которых видимый процент лица будет иным. 

Причина в том, что размер лиц у людей разный, о чем нам недвусмысленно свидетельствует размеры головных уборов. Для определения размера измеряется обхват головы в сантиметрах, от XXS (54 см.) до XXXXL (65 см.) Как собственно и размеры и типы масок сильно отличаются друг от друга. Для того чтобы проиллюстрировать то насколько разное количество лица остается видимым, мне понадобилось минут 10 провести в поиске по картинкам от компании Google.

Как видно на фото, видимая часть лица колеблется от Сергея Лаврова, у которого видимым остается процентов 70 лица, до неизвестной девушки с челкой, у которой видимым остается процентов 20. Такая фатальная разница также фатально будет сказываться на качестве распознавания.

Ошибочная предпосылка №2. В систему распознавания лиц поступают высококачественные изображения достаточные для фиксации индивидуальных особенностей на не закрытой маской части лица. 

Смелая гипотеза, которая не выдерживает проверки практикой по многим причинам. Камеры видеонаблюдения формируют изображения лиц в разных условиях по освещению, которые значительно влияют на качество распознавания лиц. Часто распознавание происходит в  условиях естественного освещения, которое меняется значительно в течение суток от безлунной темной ночи до яркого солнца.

Яркий пример, изображений в масках, с которыми работают в лабораториях, представил нам Национальный институт стандартов и технологий США (NIST), который тоже, видя весь этот хайп вокруг систем распознавания лиц в масках, решил провести свое независимое исследование точности распознавания лиц. Краткий вывод — из 89 протестированных алгоритмов количество ошибок всегда увеличивалось от 5% до 50% в зависимости от алгоритма. Что в целом выглядит отличным результатом, я имею в виду алгоритмы, которые показывали значения в районе 5%.

Однако есть нюанс, и заключается он в том, что изображения отличного качества, и такие получить из большинства систем распознавания номеров практически невозможно. 

Примеры изображений, используемых NIST для оценки точности различных алгоритмов распознавания лиц. 

NIST молодцы, и изображения у них хорошие, но давайте вернемся в наш с вами город греха, и посмотрим, с какими изображениями работает московская система распознавания лиц.

Это изображения их московской системы распознавания лиц, которые я взял из видео расследования МБХ-медиа, понятно, что они худшего качества чем оригинальные, но даже на них видны принципиально другие условия съемки, и конечно то, что положение лица далеко от идеальных изображений в анфас, которые использовал NIST.

Ошибочная предпосылка №3. Если человек надевает маску, то больше никаких аксессуаров он надевать не будет. 

Важная гипотеза, потому что если она не выдерживается, то для идентификации может остаться ноль процентов поверхности лица.
Для любого человека очевидно, что на практике гипотеза не выдерживается, лицо человека кроме медицинской маски много что может закрывать, например челка закрывающая лоб, очки, шапка, шарф, усы или борода, капюшон, платок. 

В общем вместо тысячи слов вот вам фото, для оценки того сколько процентов остается для идентификации если человек надевает что либо кроме медицинской маски.

Ошибочная предпосылка №4. Человек в момент идентификации смотрит прямо в камеру. 

Именно такие фото использовал NIST, на практике конечно в основном человек смотрит куда угодно только не в камеру. Угол наклона и угол поворота головы относительно камеры  естественно влияет на качество получаемого изображения, а значит и на качество распознавания. 

Также высота установки видеокамеры тоже будет влиять на угол, под которым будет видно лицо.

Попробуйте мысленно примерить маску на фотографии сделанные под разным углом, и вам будет понятно что если человек не смотрит прямо в камеру и его лицо скрыто маской, то в зависимости от угла, процент распознавания будет падать большинстве случаев. А в некоторых случая будет падать фатально.

Последний гвоздь от Apple

Есть мнение еще одних реальных пацанов, которые за свои слова привыкли отвечать. Мало кто знает их как самого крупного продавца устройств с распознаванием лиц. Это компания Apple со своим 3D сканером Face ID встроенным в сотни миллионов IPhone. Понятно, что постоянно снимать маску для разблокировки смартфона неудобно, а многие считают, что и опасно, поэтому с приходом пандемии все форумы резко оказались завалены недовольством пользователей IPhone которые требовали решить проблему. 

Чем ответила компания Apple: — «Face ID предназначен для работы с видимыми глазами, носом и ртом», - сказала пресс-секретарь компании Apple. И выкатили апдейт, который детектирует наличие маски на лице и сразу выводит на IPhone клавиатуру для ввода пин-кода.

Чтобы совсем была понятна пропасть между Apple и заявляльщиками (разработчиками систем распознавания лиц в маске) нужно еще отконстатировать один момент. 

Разработчики, разработавшие чудо алгоритмы для распознавания лиц в маске заявляют о том, что они могут выполнить идентификацию людей в масках. Что это означает на примере системы оплаты в московском метро с помощью распознавания лиц. Давайте предположим, что половина из ежедневно перевозимых 7 млн. пассажиров будут пользоваться распознаванием лиц для прохода. Это означает, что для каждого пассажира система распознавания лиц будет выполнять 3,5 млн. операций сравнения. Т.е. системе нужно сравнить лицо человека стоящего перед турникетом в метро с 3,5 млн. распознанных лиц хранящихся в базе данных. 

Face ID от Apple выполняет верификацию, это значит что в «базе данных» IPhone хранится только одно распознанное лицо это лицо владельца. Т.е. всегда выполняется только одна операция сравнения, сравнивается лицо того кто пытается разблокировать IPhone с одним лицом из базы данных.
Очевидно, что верификация гораздо проще, надежней и быстрее чем идентификация, одна Apple все равно говорит, что верификация человека в маске недостаточно надежна.

Не забудем также отметить что в Face ID используются вертикально-излучающие лазеры (VCSEL) — это 3D технология распознавания лиц. По слухам Apple суммарно потратила на разработку Face ID от 1,5 до 2 миллиардов долларов. И здесь важно отметить что большинство решений которые предлагают распознавание лиц в маске это 2D распознавание лиц. 
И здесь мы подходим к главному 3D технология распознавания лиц катастрофически точнее 2D. Вот в таблице это наглядно видно.

Резюмируем, Apple обладая катастрофически более точной технологией распознавания говорит — лица в масках распознавать нельзя.  Разработчики 2D распознавания лиц — говорят можно. Вспоминается одно выражение Сергея Безрукова: — то ли я дурак, то ли лыжи не едут.

Суммируем

Разработчики алгоритмов постоянно их совершенствуют, и если с каждой проблемой отдельно они более или менее научились справляться, то все проблемы вместе, делают распознавание лиц практически невозможным.

Суммируя все вышесказанное, становится более чем очевидно, что работать распознавание лиц будет только в идеальных условиях лаборатории. Для целей распознавания в реальной жизни, использовать это нельзя.

А когда какие-нибудь разработчики будут говорить, что у них есть чудо алгоритмы, которые могут распознавать лица в медицинских масках, вспоминайте компанию Apple, которая может купить всех этих разработчиков вместе взятых, без всякого ущерба для своего кармана. Но вместо этого они предпочитают сказать, что распознавание лиц в маске невозможно. Потому что понимают, что им-то придется отвечать за свои слова, перед самыми суровыми судьями миллионами своих потребителей.

Ну, и самое важное — ваше мнение

Ничто так сильно не мотивирует меня писать новые статьи как ваша оценка, если оценка хорошая я пилю статьи дальше, если отрицательная думаю, как улучшить эту статью. Но, без вашей оценки, у меня нет самого ценного для меня - обратной связи от вас. Не сочтите за труд, выберете от 1 до 5 звезд, я старался.