Как выглядят камеры распознавания лиц

Как работает распознавание лиц и можно ли обмануть эту систему

Распознавание лиц — это технология, которая позволяет автоматически идентифицировать (распознать, кто на фото) или верифицировать (подтвердить, что на фото именно этот человек) человека на фото, видео или вживую. Для распознавания используют нейросети, которые умеют считывать и анализировать уникальные черты человеческого лица, а затем сверять их с базой.

Об эксперте: Татьяна Гайнцева, преподаватель Deep Learning School (МФТИ), автор блога об искусственном интеллекте и нейронных сетях.

Как развивалась технология распознавания лиц

• Первые эксперименты в области машинного распознавания лиц представил в 1960-х годах Вуди Бледсо — профессор Техасского университета в Остине, исследователь искусственного интеллекта. Его рабочая группа создала базу из 800 снимков людей в разных ракурсах. Далее ученые размечали лица 46 точками-координатами с помощью прототипа современного планшета. Посредством специального алгоритма система разворачивала лица под разными углами, увеличивала и уменьшала масштаб. На втором этапе алгоритм использовал 22 измерения, действуя согласно байесовской теории принятия решений — чтобы общий вывод был максимально точным. В итоге система, разработанная Бледсо, справлялась в 100 раз быстрее, чем человек.
• В 1988 году Майкл Кирби и Лоуренс Сирович из Университета Брауна применили подход Eigenface с использованием линейной алгебры для анализа изображений. Для разметки лиц они применяли менее 100 различных значений.
• В 1991 году Алекс Пентланд и Мэтью Терк из MIT усовершенствовали технологию Eigenfaces, задействуя факторы окружающей среды. Им удалось автоматизировать процесс распознавания.
• В конце 1990-х годов Управление перспективных исследовательских проектов при Минобороне США (DAPRA) и Национальный институт стандартов и технологий выпустили программу FERET с самой обширной базой лиц — более 14 тыс. изображений. Изначально ее использовали, чтобы находить и распознавать преступников по всему миру, но затем представили для открытого доступа.
• С 2010 года Facebook (с 21 марта 2022 года соцсеть запрещена в России решением суда) начал использовать функцию распознавания лиц, чтобы находить пользователей на публикуемых фото и предлагать их отметить.
• В 2011 году власти Панамы и США запустили совместный проект FaceFirst. Это технология распознавания лиц, которую использовали для пресечения незаконной деятельности в аэропорту Токумен в Панаме. В том же году полиция и спецслужбы США начали применять распознавание лиц для опознания трупов — включая Усаму бен Ладена.
• С 2014 года распознавание лиц используют в камерах мобильных телефонов, а с 2017 — в ретейле.

Как работает распознавание лиц?

В основе технологии — две нейросети:

Первая — сеть-«выравниватель» (англ. aligner). Она берет картинку, которая поступает с камеры наблюдения, детектирует на ней все лица, которые сможет найти, «вырезает» и «выравнивает» их.

Вот как это выглядит:

Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).

Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.

Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.

Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.

Вторая — сеть-«распознаватель». Она принимает на входе выровненное изображение, которое передала первая нейросеть, а на выходе выдает вектор лица — то есть, набор чисел фиксированной длины. У разных сетей эти векторы могут отличаться, но чаще всего это некая степень двойки. Например, 512:

На похожие лица сеть выдает похожие векторы и наоборот.

Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.

Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.

Технология Face ID в смартфонах устроена немного иначе. Алгоритм распознает вас не по фото, а с помощью инфракрасных точек, которые проецируются на ваше лицо через камеру. После этого создается трехмерная модель и сравнивается с той, что вы уже внесли ранее.

Где применяют распознавание лиц?

�� Безопасность

Криминалисты, полиция и спецслужбы используют автоматизированные системы биометрической идентификации (ABIS) для поиска преступников, доказательства преступлений и их предотвращения — например, терактов или мошенничества с документами.

Камеры с распознаванием лиц применяют для обеспечения безопасности на массовых мероприятиях, для прохождения контроля в аэропортах, контроля доступа в различных организациях. Системы помогают находить пропавших детей, дезориентированных взрослых или людей, которых держат в рабстве.

�� Здравоохранение и медицина

Распознавание лиц в больницах и домах престарелых помогает отслеживать, принимают ли пациенты лекарства и следить за их состоянием через специальный монитор. Нейросети даже умеют обнаруживать по лицу генетические заболевания по характерным признакам на лице — такие, как синдром Ди Джорджи, — и оценивать общее состояние пациента.

�� Ретейл, общепит и банки

Технология распознавания лиц помогает идентифицировать клиента и предотвратить мошенничество во время покупки в магазине, анализировать поведение покупателей и оптимизировать сервис так, чтобы продавать больше.

С помощью онлайн-биометрии можно открыть счет и получить кредит, а также снять деньги в банкомате. Например, в Китайском KFC и американском Amazon Go действует «оплата по лицу». В России биометрию планируют внедрить во всех крупнейших банках вместо обычной идентификации.

Еще одно перспективное направление — распознавание эмоций. Например, чтобы улучшить взаимодействие с клиентами и сотрудниками, работая онлайн, или анализировать, как пользователи реагируют на контент. В России подобными разработками занимается компания Neurodata Lab.

�� Образование

Сервисы на базе распознавания лиц помогают во время онлайн-обучения: следят, чтобы ученик не отвлекался во время экзамена, не списывал и не пользовался устными подсказками.

Самые продвинутые разработки в этой области

С 2016 по 2020 год точность распознавания лиц нейросетями улучшилась в 50 раз: коэффициент ошибок составил 0,8%. Согласно исследованию Facial Recognition Market 2019 года, мировой рынок распознавания лиц тогда оценивали в $3,2 млрд. Прогноз на 2024 год — $7 млрд, при ежегодном росте в 16%.

Самые масштабные разработки в области распознавания лиц — у Google, Apple, Facebook, Amazon и Microsoft (GAFAM).

В 2014 году Facebook запустил сервис DeepFace, который определяет, принадлежат ли два сфотографированных лица одному и тому же человеку с точностью 97,25%.

В 2015 Google представила свою разработку — FaceNet. Благодаря огромному массиву данных, которые собирают сервисы Google, FaceNet достигла рекордной точности — 99,63%. Технологию, в частности, используют в Google Фото для сортировки изображений и автоматических отметок людей на них.

Amazon с 2018 года активно продвигает свой облачный сервис распознавания лиц под названием Rekognition, которым пользуются правоохранительные органы США. Система умеет распознавать до 100 человек на одном фото и искать их в базах данных, содержащих десятки миллионов лиц.

По данным Центра стратегических и международных исследований, а также Управления по науке и технологиям МВД США, лучшим решением в 2020 году было признано FRT: его точность распознавания составила 99,97%.

В России есть пять крупных игроков на рынке распознавания лиц:

1. NTechLab;
2. VisionLabs;
3. Sensemaking Lab;
4. Группа ЦРТ.

NTechLab — разработчик нашумевшего приложения FindFace, которое использовали для поиска людей во «ВКонтакте» по фото. Сервис неоднократно оказывался в центре скандалов с нарушением приватности. Максимальная точность их алгоритмов для распознавания лиц — 99%. Компания также выступила подрядчиком для внедрения камер с распознаванием лиц в Москве.

Второй подрядчик московских властей в этой области — VisionLabs. Они также разрабатывали системы для московских камер и участвовали в других городских проектах. С недавних пор VisionLab стала частью экосистемы «Сбера», и теперь их разработки применяют, в том числе, для внедрения биометрии в банковских сервисах.

Группа ЦРТ в 2014 году первой внедрила систему распознавания лиц в спорте. Ее решения используются на стадионах «Газпром-Арена», «ВТБ-Арена» и других.

Что не так с распознаванием лиц в Москве?

В Москве действует одна из крупнейших в мире сетей с распознаванием лиц — более 200 тыс. камер общей стоимостью около 5 млрд руб.

Российскую технологию NTechLab признали лучшей в результате тестирования Национального института стандартов и технологий США. NTechLab вели совместные разработки с Genetec — поставщиком систем видеонаблюдения для американского правительства и спецслужб.

Систему для Москвы начали разрабатывать еще в 2015 году, а пилотный проект запустили в 2017-м: тогда это были 1,5 тыс. камер во дворах и подъездах. В 2018-м систему расширили, протестировав на чемпионате мира по футболу. Камеры помогли задержать около 100 нарушителей из базы уголовного розыска. В том же году с помощью камеры с распознаванием лиц задержали грабителя, находящегося в розыске МВД.

Московскую систему видеонаблюдения использовали во время пандемии в 2020 году. С ее помощью выявили более 200 нарушителей карантина и самоизоляции, которым пришлось выплатить штрафы.

Правозащитники указывают на опасность технологии для обычных граждан. Например, юрист Алена Попова неоднократно подавала иски к управлению МВД Москвы и московскому Департаменту информационных технологий с требованием запретить систему распознавания лиц на митингах.

Распознавание лиц и правда используют на митингах?

В феврале 2021-го появилась информация о том, что с помощью камер власти отслеживали участников митингов в Москве и привлекали их к ответственности. Полицейские останавливали людей на входе в метро или приходили к ним домой. Такое бывало и в других странах.

Во время протестов в Гонконге 2019-20 годов власти тоже использовали распознавание лиц, чтобы вычислять активистов. Для борьбы с этим протестующие использовали лазерные указки, маски с чужими лицами и проекторы для лица, а также громили столбы с камерами.

По мнению оппозиции, для распознавания используют программу Face++ от китайского стартапа Megvii. Эта система, предположительно, попала в черный список властей США за нарушение прав человека.

Еще один недавний пример — сайт Faces of the Riot, созданный студентом из Вашингтона. Он использовал приложение с открытым исходным кодом, чтобы извлечь лица из 827 видео, размещенных в соцсети Parler во время штурма Капитолия 6 января 2021 года. Затем он применил нейросеть для распознавания лиц, обученную на 200 тыс. фото из базы ФБР, и идентифицировал людей.

Какие еще проблемы есть у технологии сегодня?

��️‍��️ Утечки. В данном случае в сеть утекают доступы к камерам наблюдения и результатам распознавания. За деньги можно проверить по фотографии, где и когда камеры засекли конкретного человека.

�� Ошибки в распознавании. В 2018 году технология распознавания лиц от Amazon ошибочно опознала 28 членов Конгресса США как преступников. Недавний пример — москвич Сергей Межуев, которого система распознавания лиц в метро ошибочно приняла за преступника в розыске. В итоге мужчину задержали, собрали все данные и не сняли подозрения, пока реальный подозреваемый не нашелся.

❌ Использование лиц без согласия. В США до недавнего времени для обучения нейросетей распознаванию лиц использовали датасеты с лицами из открытых источников. Готовые датасеты тоже были в открытом доступе. Однако сейчас их убрали, так как это нарушает законы о защите персональных данных. Теперь доступ к ним можно получить по запросу и только для исследовательских (некоммерческих) целей.

The New York Times опубликовала расследование, согласно которому система распознавания лиц ClearView использует фото из Facebook и Twitter, чтобы помогать полиции находить людей. Аналогичные претензии были и к NtechLab: у компании был доступ к фото пользователей в «ВКонтакте».

�� Дискриминация и расизм. Для обучения нейросетей используют датасеты, которые содержат, в основном, фото людей титульной нации и расы. В итоге системы распознавания лиц плохо распознают азиатов, латиноамериканцев или афроамериканцев. Системы, которые используют в криминалистике, чаще указывают на чернокожих людей как на потенциальных преступников.

Исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.

Есть примеры дискриминации по полу: например, нейросеть, которая дорисовывает женским фото тело в бикини, а мужским — в костюме. Просто потому, что в сети большинство изображений именно такие.

�� Использование технологии для манипуляции людьми. Оказавшись в руках властей, системы с распознаванием лиц вместе с базами персональных данных дают неограниченные возможности. Самый радикальный пример того, к чему это может привести — Китай.

Распознавание лиц в Китае: социальная антиутопия

В Китае распознавание лиц используют в полиции, аэропортах, на улицах, в общественном транспорте. Государство планирует распространить систему по всей стране: по данным CNBC, в конце 2018 года в Китае использовали более 200 млн камер наблюдения, а к концу 2021-го их число достигнет более 500 млн.

Одна из главных причин — внедрение системы социального рейтинга или кредита. Каждый гражданин страны получает положительные баллы за общественно-полезную деятельность, отсутствие нарушений, своевременную уплату налогов. За проступки баллы снимаются. Низкий или отрицательный рейтинг влечет разные последствия: отказ в выдаче кредита и социальных выплатах, запрет на вылет из страны и работу в определенных организациях.

Также при помощи этой технологии правительство Китая следит за представителями уйгурского этнического меньшинства. Сотни тысяч уйгуров поместили в города-гетто и лагеря для политзаключенных и всячески ограничивают их в перемещении.

Можно ли обмануть систему распознавания лиц?

Чтобы бороться с «умными» камерами, в ход идут специальные маски, проекторы, лазеры и другие приемы:

В 2017 году Григорий Бакунов, отвечающий за ИИ-технологии в «Яндексе», придумал специальный макияж, который якобы помогает обмануть нейросети. При создании макияжа он использовал генетический алгоритм, который подбирает образ по принципу анти-сходства.

Однако все эти способы вряд ли помогут. Во-первых, мы до конца не знаем, по каким именно приметам нейросети распознают лица. Во-вторых, алгоритмы обучают по разным схемам и на разных датасетах. Чтобы их обмануть, нужно точно знать, как устроена конкретная нейросеть.

Можно, конечно, полностью скрыть лицо в публичных местах и на массовых мероприятиях. Но во многих странах — включая Россию и Китай — это запрещено законом.

Есть способы, которые помогают изменить уже готовые фото. Например, компания Generated Media создала Anonymizer: приложение, которое генерирует серию портретов на основе ваших фото и делает их неузнаваемыми для нейросетей.

Можно использовать специальную маску. К примеру, возьмем фото, на котором нейросеть опознала актрису Еву Лонгорию и немного изменим его:

Слева — исходное фото, справа — маска, наложенная на него, посредине — результат. Теперь алгоритм его не узнает, хотя для нас очевидно, что это та же самая женщина. Но и этот способ можно применить только если у вас есть доступ к архитектуре нейросети.

Как регулируют распознавание лиц в разных странах?

В ЕС и Великобритании действует самый жесткий регламент по защите данных — GDPR. Он запрещает любое посягательство на личную жизнь человека со стороны частных компаний и госорганов без его согласия. Это касается и систем распознавания лиц.

В США нет единого закона, который бы регулировал использование технологии. Ближе всех к европейскому GDPR по сути стоит Закон о конфиденциальности потребителей в Калифорнии (CCPA). В некоторых штатах действуют ограничения для полиции и других органов — например, в Орегоне, Вашингтоне, Техасе, Иллинойсе, Массачусетсе, Вермонте.

ИТ-корпорации настаивают на принятии законов на федеральном уровне. В 2020 году IBM объявила о прекращении продаж своих продуктов для распознавания лиц. Вслед за ними Amazon и Microsoft временно приостановили сотрудничество с госорганами в этой области. А в июле правозащитники из ACLU подали иск против ClearviewAI за нарушение закона штата Иллинойс о конфиденциальности биометрической информации.

В Китае распознавание лиц используют повсеместно, и у госорганов есть неограниченные возможности по применению технологии. С недавних пор биометрия является обязательной даже при регистрации телефонного номера.

В России есть закон о защите персональных данных. Но он направлен, в первую очередь, на сохранность самих данных: их необходимо защищать, чтобы предотвратить утечки. Права самих граждан, чьи данные используются, никак не защищены. Безопасность биометрических данных в частной сфере пока не регулируется, но у властей с 2019 года есть право использовать распознавание лиц без согласия граждан.

Какое будущее у этой технологии?

Эксперты считают, что в ближайшие пару лет распознавание лиц окончательно станет массовой технологией. Ее будут применять в «умных» и обычных гаджетах, для идентификации и оплаты, прохода в офисы и регистрации в аэропорту, а также для доступа к онлайн-сервисам и аккаунтам в соцсетях. В течение 15-20 лет мы полностью перейдем на биометрические паспорта. А вот обмануть алгоритмы или укрыться от камер с распознаванием лиц станет практически невозможно.

Системы распознавания лиц

Системы распознавания лиц – это уже не экзотика из фантастических романов, а реальность, окружающая практически каждого из нас. И речь не только о массовом видеонаблюдении и верификации, как в Китае, но и о знакомых всем программах распознавания в смартфонах. Однако, несмотря на схожесть задач, принципы работы у этих решений разные.

Будет заблуждением считать, что внедрение системы распознавания лиц в рамках СКУД (системы контроля и управления доступом) – панацея и гарантия безопасности. Несмотря на распространенность и постоянные улучшения, они все еще часто ошибаются. В нашей статье мы расскажем, как работает софт по распознаванию лиц, какие задачи оно может решать и разберемся с техническими требованиями к данным системам.

Суть системы распознавания лиц

Что представляет собой система распознавания лиц? Это специализированная программа, с помощью которой лицо на каком-либо изображении выделяется автоматически, а затем происходит сопоставление и анализ его биометрических данных. Это необходимо для того, чтобы идентифицировать персону.

Лицо каждого из нас уникально. Именно поэтому качественная программа для распознавания легко обнаружит его на фотографии или в видеоряде, проанализирует, прогонит по имеющейся базе биометрических данных и предоставит информацию по конкретному человеку.

Устройство системы распознавания лиц

Как работает система распознавания лиц? Программа базируется на двух нейросетях.

Первая из них носит название сети-«выравнивателя» (от англ. aligner). Она определённым образом обрабатывает изображение, поступающее с камеры наблюдения: обнаруживает все имеющиеся в видеоряде человеческие лица, «вырезает» и «выравнивает» их.

Процесс осуществляется в несколько этапов:

• Программа вырезает лица, которые смогла распознать. Человеческие лица, расположенные слишком близко друг к другу, повёрнутые в профиль либо просто маленькие и размытые, не всегда обнаруживаются детектором.
• Лица выравниваются посредством обозначения на них точек глаз, носа и рта.
• На последнем этапе изображение поворачивается и подгоняется по размеру определённым образом — так, чтобы точки глаз, носа и рта заняли соответствующее положение.

Существуют продвинутые алгоритмы, использующие больше семи точек, что позволяет полностью обвести контуры лица. Это может потребоваться, например, для создания дипфейков.

Вторая нейросеть носит название «распознавателя». Она принимает изображение, выравненное на первых этапах, обрабатывает его и выдаёт вектор человеческого лица — набор чисел, имеющих фиксированную длину. У разных нейросетей показатели могут быть различны, но в большинстве случаев вектор составляет ту или иную степень числа 2. Для человеческих лиц, похожих друг на друга, и векторы будут вычисляться сходные.

Чтобы лучше понять, как работает система распознавания лиц, разберём это на конкретном примере.

Возьмём одну фотографию Моники Беллуччи и две фотографии Хью Джекмана, обработаем все три изображения с помощью нейросетей, описанных выше. Получим три разных вектора. Измерим расстояние: между векторами Моники и Хью, а также между двумя векторами Хью. В первом случае разница будет велика, поскольку речь идёт о разных людях, во втором же расстояние будет совсем небольшим.

Для обучения нейросетей требуются крупнейшие базы данных с человеческими лицами. На первом этапе нейросеть сообщает, какой персоне принадлежит то или иное лицо, а уже впоследствии, в процессе обучения, совершенствует свой алгоритм для выдачи максимально точных результатов. Только после «тренировки» на миллионах людей нейросети начинают распознавать новые лица, не занесённые в базу.

У технологии Face ID, встроенной в смартфоны, несколько иной принцип действия. Её алгоритм идентифицирует человека не по фотографии, а посредством множества инфракрасных сигналов, проецируемых на лицо владельца устройства через объектив камеры. Затем строится трёхмерная модель и сравнивается с изначальной (т.е. внесённой ранее).

Мифы про систему распознавания лиц

С момента своего появления система распознавания лица человека успела обрасти множеством мифов. Разберём самые распространённые.

• Информация, полученная в результате идентификации биометрических признаков, может быть украдена.

Это ошибочное мнение. Дело в том, что биометрические данные любого человека не хранятся в базах данных в чистом виде: современные системы контроля и управления доступом (СКУД) преобразуют их в специальный цифровой код, с использованием которого невозможно восстановить индивидуальные параметры человека. Все сведения, включая отпечатки пальцев и прочие личные характеристики, остаются закрытыми.

• В устройствах, сканирующих радужную оболочку глаз, применяются лазерные технологии.

На деле ситуация обстоит иначе. Специальная камера, распознающая данные с сетчатки, делает серию снимков на расстоянии шестидесяти сантиметров от глаза, применяя при этом инфракрасное освещение. Оно практически незаметно и не наносит никакого вреда нашим глазам.

• Биометрические параметры уязвимы для фальсификации.

Даже несмотря на колоссальный технический прогресс, совершенных программ не существует. Да, если поставить конкретную цель, возможно, удастся подделать геометрию лица или радужную оболочку. Вопрос в другом: есть ли в этом смысл?

Современные системы распознавания лиц оснащены довольно надёжными защитными механизмами. Если же речь идёт о бюджетных программах, то проблема не в том, что их можно подделать: они неидеальны сами по себе. Кроме того, стоит помнить, что на практике действует ряд решений, направленных на защиту систем биометрического распознавания от фальсификации как на программном, так и на аппаратном уровнях.

• Системы распознавания лица человека стоят баснословных денег.

Это неоднозначный вопрос: всё зависит от устройства. Если клиент хочет добиться комфортного использования, а вопрос безопасности для него не в приоритете, вполне можно обойтись стандартными системами идентификации, стоимость которых не выше, чем СКУД на базе smart-карт. Если же необходимо гарантировать не только удобство, но и абсолютную безопасность применения технологии, то и цена будет на порядок больше.

Скачивайте и используйте уже сегодня:

10 шагов, которые помогут выбрать добросовестного подрядчика

Поможет сохранить бюджет и уложиться в сроки проекта

Уже скачали 11 507

Технологии систем распознавания лиц

2D-распознавание лиц

Технология двумерного распознавания лица человека основывается на плоских изображениях. Её алгоритмы применяют антропометрические параметры, графы (т. е. обычные или эластичные 2D-модели лиц), а кроме того — изображения человеческих лиц, представленные определённым набором физических или математических признаков.

Данная технология является одной из самых востребованных в мире, поскольку в подавляющем большинстве имеющихся в настоящее время баз данных распознанных человеческих лиц хранятся именно двумерные изображения.

Основное преимущество 2D-распознавания лиц заключается в наличии не только готовых баз данных, но и уже отлаженной инфраструктуры. Именно по этой причине максимальный спрос приходится на данный сегмент, что, в свою очередь, стимулирует разработчиков и дальше совершенствовать свой продукт.

Однако у двумерной технологии идентификации имеется и весомый недостаток: она допускает более высокие коэффициенты ошибок FAR и FRR в сравнении с 3D-распознаванием лиц.

3D-распознавание лиц

В 3D-системе распознавания лица человека используются реконструированные трёхмерные модели. Эта технология может похвастаться более высокими качественными характеристиками в сравнении с двумерной, но всё равно остаётся несовершенной.

В настоящее время на мировом рынке представлены несколько различных устройств для 3D-идентификации: это лазерные сканеры, в которых оценивается расстояние от сканера до человеческого лица; специальные сканеры, оснащённые структурированной подсветкой поверхности лица и производящие математическую обработку изгибов полос; сканеры, в основе функционирования которых заложен фотограмметрический метод обработки синхронных стереопар изображений лиц.

К несомненным достоинствам трёхмерного распознавания можно отнести высокую точность и небольшое количество ошибок, которого пока не получается достигнуть в 2D. Однако у 3D-сканирования есть и ряд минусов:

• Специалист может без особых трудностей подделать результаты. Если перед вами стоит задача защитить свой ПК, ноутбук, телефон или помещение от незаконного проникновения, использовать 3D не рекомендуется: такую систему легко взломать.
• Системы трёхмерной идентификации должны оснащаться специальными камерами для сканирования, чья стоимость гораздо выше обычных камер, применяемых в двумерном распознавании.
• Нет готовых баз данных с распознанными человеческими лицами.

Не стоит забывать и о таком нюансе, как идентификация лиц близнецов — она всё ещё остаётся довольно нетривиальной задачей. В данный момент в мире на тысячу родившихся детей приходится порядка тринадцати близняшек (данные сильно колеблются в зависимости от региона).

Идентификация лица по текстуре кожи

Высокое разрешение изображений — ещё один плюс современных технологий, благодаря которому стало возможным серьёзное усовершенствование систем распознавания лиц. В данном случае речь идёт о детальном анализе текстуры человеческой кожи.

В процессе этого анализа конкретная часть лица захватывается как изображение, а потом разбивается на несколько маленьких блоков, трансформируемых в математически измеримые пространства, в которых записываются линии, поры, морщинки — словом, фактическая кожная текстура.

Именно эта технология делает возможным распознавание различий между близнецами, что пока невозможно для обычных систем идентификации.

Распознавание лица по тепловизионному изображению

В настоящее время применение тепловизионных камер для идентификации человеческих лиц является весьма перспективным направлением для разработки, однако готовых для внедрения технических решений ещё не появилось.

Тепловизионные технологии, как ожидается, должны нивелировать множество болевых точек двумерного сканирования, таких как:

• идентификация лиц в полной темноте либо в условиях плохой освещённости;
• макияж, причёска с длинными волосами, густая борода, шляпа, тёмные очки — всё это перестанет быть помехой;
• появится возможность распознавания лиц близнецов.

Разработка тепловизионных систем распознавания лица человека ведётся в двух основных направлениях:

• Идентификация по предварительно сформированным термограммам распознанных лиц. Основные проблемы те же, что и в 3D-технологиях: отсутствуют готовые базы данных, оборудование стоит дорого.
• Идентификация по изображениям, полученным с помощью тепловизионной камеры. В качестве лиц для эталона применяются базы данных стандартных плоских изображений. Вопрос совместимости решается с помощью глубоких нейронных сетей.

Как становится понятно, можно долго говорить о перспективах этих направлений, но в текущий момент тепловизионное сканирование работает только в экспериментальных лабораториях, причём результаты далеки от совершенства.

Сферы применения систем распознавания лиц

• Соблюдение правоохранительных норм.

Системы идентификации человеческих лиц активно внедряются органами защиты правопорядка. Особенно распространена технология в Штатах. Полицейские собирают фотографии задержанных граждан, прогоняют их по местным, государственным и федеральным базам данных сканирования лиц. Затем изображения нарушителей правопорядка добавляются в базы данных, по которым полиция в будущем сможет без труда найти преступника.

• Аэропорты и пограничный контроль.

Идентификация лица — процедура, которая уже довольно долгое время является привычной в аэропортах большинства стран. Многие авиапутешественники успели обзавестись специальными биометрическими паспортами. Благодаря им людям не приходится стоять в длинных очередях: контроль осуществляется автоматически. Такие паспорта не только заметно сокращают время ожидания, но и выводят показатели безопасности на качественно новый уровень.

• Поиск пропавших без вести.

Системы распознавания лица человека успешно применяются в ситуациях, когда требуется найти пропавшего человека или жертв работорговли. Допустим, пропавшие люди числятся в базе данных распознавания лиц. В таком случае в органы защиты правопорядка может быть направлено соответствующее уведомление — сразу после того, как эти люди будут опознаны системой в любом общественном месте.

• Снижение уровня преступности в розничной торговле.

Сканирование человеческих лиц может пригодиться в случае, когда требуется обнаружить недобросовестных покупателей, ворующих товары в супермаркете. Это весьма эффективно: преступников-рецидивистов удастся распознать ещё на входе в торговый зал. Изображения посетителей прогоняются по уже сформированным базам данных, и в тот самый момент, когда покупатель, представляющий потенциальную угрозу, зайдёт в супермаркет, охрана получит уведомление, а значит, сможет предотвратить возможную угрозу.

• Банки.

Ещё один несомненный плюс в пользу технологии распознавания лиц заключается в том, что она делает возможным биометрический онлайн-банкинг. Вместо того чтобы тратить время на ввод сложных паролей, вы можете просто посмотреть в камеру своего смартфона или ПК, и система распознает вас.

Ни один злоумышленник не сможет взломать такую защиту. Даже если база данных будет украдена, то «оценка витальности» — метод, применяемый для определения, является ли носитель биометрических данных живым человеком, или это всего лишь изображение — в теории должна помешать хакерам использовать фотографии из базы для имитации реального пользователя.

• Маркетинг и реклама.

В этой области идентификация применяется для повышения качества обслуживания клиентов. Так, популярный бренд замороженной пиццы DiGiorno использовал сканирование в своей маркетинговой кампании в 2017 году. Как работала система распознавания лиц в этом случае? Проводился специальный анализ выражения лиц посетителей на мероприятиях, посвящённых бренду — это было нужно для того, чтобы определить эмоциональные реакции клиентов на пиццу.

• Здравоохранение.

Сканирование лиц также может применяться в больницах с целью оказания помощи пациентам. Уже в наши дни некоторые медицинские учреждения проводят испытания систем распознавания лица человека для доступа к медкартам, упрощения процесса регистрации посетителей, определения боли и эмоционального состояния у тяжёлых больных. Кроме того, технология помогает обнаружить некоторые генетические заболевания.

• Мониторинг посещаемости студентов или работников.

Ряд китайских учебных заведений успешно применяет технологию сканирования для контроля пропусков занятий. Используются специальные планшетные компьютеры, которые распознают лица студентов и прогоняют их по базе данных для подтверждения личности. В широкой перспективе сканирование можно применять и для регистрации сотрудников на их рабочих местах — так начальство сможет без труда определять прогульщиков и опаздывающих.

• Распознавание водителей.

Как утверждают потребительские отчёты, уже сейчас многие автомобильные компании проводят эксперименты с системами распознавания лиц, чтобы внедрить их на место привычных ключей от машины. Ко всему прочему, технология способна запоминать личные предпочтения владельцев авто: в каком положении они держат кресла и зеркала, какую радиостанцию слушают во время поездки.

Реализация системы распознавания лиц в рамках СКУД

В настоящее время выделяют три основополагающих принципа, согласно которым создаются системы распознавания лица человека.

• Локальный контроль и обработка информации, поступающей с камеры видеонаблюдения, на ПК. Такие устройства незаменимы на контрольно-пропускных пунктах и терминалах, к примеру, на проходной какого-либо промышленного комплекса. Это очень удобно, поскольку полученные сведения отправляются прямиком в табель учёта рабочего времени. Такая реализация носит локальный характер и используется только для местного контроля.

• Удалённая обработка информации, поступающей с IP-видеокамер. В данном случае видеоряд обрабатывается на удалённом сервере, оснащённом необходимым ПО.

Обработка данных непосредственно в видеокамере. При таком способе реализации обработанная информация поступает на сервер практически в чистом виде. В большинстве случаев связка «камера — сервер» оснащена соответствующим ПО, которое разработано специально для конкретной видеокамеры с функцией сканирования.

Однако у этой технологии имеется весомый недостаток: видеокамеры стоят очень дорого. Впрочем, сэкономить можно на сервере взаимодействия, поскольку часть работы по распознаванию осуществляется встроенным в камеру ПО (оно представляет собой гибрид аппаратно-программной реализации).

Требования к системе распознавания лиц для СКУД

Существует перечень определённых требований, предъявляемых к системам распознавания лиц. Далее мы рассмотрим основные из них.

Время прохождения через турникет

Это ключевая характеристика. Она особенно важна в ситуациях, когда какое-либо учреждение насчитывает большое количество персонала или посетителей. Если на сканирование каждого лица потребуется много времени, это приведёт к большой очереди на пропускном пункте. Время прохождения через турникет суммируется из следующих алгоритмов, которые должна выполнить система: сканирование и оцифровка, передача изображения на сервер, формирование шаблона, его сопоставление с полученным изображением и, наконец, открытие турникета.

Чтобы добиться приемлемого времени прохождения (не больше полутора секунд), требуется обеспечить слаженное и быстрое совершение всех перечисленных операций. Быстродействие не представляется возможным без использования Ethernet-технологий: именно они облегчают подключение устройств, масштабируют систему и гарантируют хорошую скорость передачи данных. Применение протокола RS-485 для связи контроллеров СКУД, увы, не позволит добиться желаемого быстродействия общей системы.

Процент распознавания лица

Чтобы система сканирования лиц в СКУД использовалась легитимно, она должна иметь высокие показатели распознавания. Большинство клиентов требуют, чтобы они составляли не менее 99 %.

Разумеется, без должного технического оснащения, подбираемого индивидуально для каждого случая, такого процента добиться не выйдет: места расположения видеокамер отличаются друг от друга, разнится также и уровень освещённости точек прохождения посетителей. С другой стороны, если изображение человека получено при помощи конкретной камеры, то и вероятность идентификации ею же достигает необходимых 99 %.

Стоит учитывать, что с годами человеческие лица претерпевают естественные возрастные изменения. Меняются причёски, люди используют яркий макияж, надевают головные уборы и очки ? всё это добавляет трудностей при идентификации.

В данном контексте перспективным представляется использование адаптивных шаблонов лица Fine Pattern: они автоматически подстраиваются под минимальные изменения во внешности. Шаблоном служит не одно изображение лица, а сразу несколько. Затем изображения сравниваются между собой, и худшее заменяется лучшим.

Важной характеристикой также является удобство внесения распознанных лиц в базы данных. Так, самым эффективным считается режим обучения системы, благодаря которому лицо попадает в базу автоматически, при первом поднесении карты к считывателю на проходной, и уже затем готовый шаблон применяется для сканирования посетителя и распознавания его лица на других проходных.

Это оптимальный вариант: не потребуется участие оператора бюро пропусков и инженеров обслуживающих организаций, достаточно всего лишь выдать именные карты.

Идентификация по нескольким признакам

Как работает система распознавания лиц? Она идентифицирует человека сразу по нескольким параметрам. В большинстве случаев заказчики, желающие установить систему сканирования, предъявляют высокие требования к СКУД и ожидают от монтажной бригады, что она обеспечит многофакторную идентификацию.

Для этого необходимо заблаговременно удостовериться в том, что выбранная система осуществляет распознавание по лицу, отпечаткам пальцев, Proximity-карте, наборному коду, номеру автомобиля, а результаты сканирования подтверждаются оператором — и всё это комплексно, в рамках процесса аутентификации одного посетителя.

Расширение базы данных

Ещё один немаловажный момент. Чем больше распознанных лиц хранится в базе, тем эффективнее работает система сканирования. При этом прирост числа распознанных пользователей не должен увеличивать время поиска и, как следствие, время прохода через турникет. Чтобы добиться оптимального функционирования, используемые в системе распознавания по лицу СУБД должны быть реализованы на основе Oracle или MS SQL Server.

Технические параметры и места установок камер для распознавания лиц

• Угол установки

Камера видеонаблюдения монтируется с отклонением центральной оси, не превышающим 15 градусов к плоскости лица человека. Эта цифра должна соблюдаться в любой точке области распознавания.

• Плотность пикселей

Для эффективного сканирования человеческих лиц необходима плотность пикселей не меньше 500 pix/м во всей потенциальной области распознавания. Именно от этого показателя зависят разрешение и угол обзора видеокамеры.

• Глубина резкости

Это обязательное требование: глубина резкости должна покрывать всю зону контроля. Данный показатель непосредственно определяется фокусным объективом и значением диафрагмы. Отсюда следует, что необходимо заблаговременно рассчитывать глубину резкости для каждого отдельно взятого случая, отдавать предпочтение видеокамерам, которые позволяют управлять диафрагмой.

• Значение времени накопления заряда

Чтобы полученное изображение было чётким, время накопления заряда (выдержка) должно составлять не больше 1/100 секунды.

• Источник изображения для распознавания лиц

Желательно отдать предпочтение камере с хорошей светочувствительностью (матрица от 1/3 и больше) и оснащённой светосильным объективом (от F1,4 и лучше).

• Требования к освещению

Освещение в контрольно-пропускной зоне должно быть хорошим и ровным (от 150 люкс). Обеспечить такие параметры довольно трудно: потребуется подходить к каждому объекту индивидуально. Допустим, нередко случается так, что контроль посетителей осложняется из-за засветки видеокамеры уличным освещением.

• Нейтральный задний фон

Как и для любой фотографии в БД, для видеокамеры нужно обеспечить изображение с нейтральным однотонным задним планом. Соблюсти это условие сложнее всего, особенно если речь идёт о распознавании лиц в толпе.

Проблемы применения системы распознавания лиц

Поскольку система распознавания лица человека всё ещё остаётся технологией, далёкой от совершенства, её использование сопряжено с рядом трудностей. Вот основные из них.

• Ошибки в распознавании

2018 год отметился курьёзом для США: технология распознавания лиц от Amazon ошибочно идентифицировала 28 членов Конгресса как преступников. Сравнительно недавно подобный инцидент произошёл и в России — москвича Сергея Межуева задержали как преступника в розыске, собрали все данные о нём и не отпускали до тех пор, пока настоящий подозреваемый не был найден. А виной всему — ошибка системы сканирования лиц в метрополитене.

• Использование лиц без согласия

До некоторых пор в Америке для обучения нейросетей аутентификации применяли датасеты с человеческими лицами из открытых источников, причём датасеты тоже находились в свободном доступе. В настоящее время их убрали, поскольку это прямое нарушение закона о персональных данных. Теперь получить доступ к датасетам можно только по запросу и для некоммерческой деятельности.

The New York Times опубликовала расследование, согласно которому система распознавания лиц Clear View использует фото из Twitter, чтобы помогать полиции находить людей. Аналогичные претензии были и к NtechLab: у компании был доступ к фото пользователей в «ВКонтакте».

• Дискриминация и расизм

Нетрудно догадаться, что для обучения нейросетей применяются в большинстве своём подборки фотографий людей «титульной» нации и расы. В конечном счёте системы распознавания лиц плохо справляются (или не справляются совсем) с идентификацией азиатов, латиноамериканцев и афроамериканцев. Как показывает статистика, применяемые в криминалистике системы сканирования гораздо чаще опознают чернокожих людей как потенциальных преступников.

Кроме того, исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.

• Использование системы для манипулирования людьми

Попав в руки властей, системы для аутентификации человека открывают им доступ к практически неограниченному контролю. Наглядный пример — Китай.

В Китае действует так называемый социальный рейтинг, или кредит. Каждому человеку присваиваются баллы за какую-либо общественно полезную работу, отсутствие правонарушений, своевременную уплату налогов. За каждое нарушение баллы списываются — рейтинг может не просто упасть до нуля, но даже уйти в минус. Это, в свою очередь, влечёт за собой отказ в выдаче кредитов или социальных выплат, запрет на вылет из страны, невозможность устройства на работу в определённые организации и пр.

Подводя итог, можно сказать следующее: да, система распознавания лиц работает, и работает достаточно эффективно, но для её усовершенствования требуются ещё годы разработок и экспериментальных исследований. В настоящее время система функционирует без огрехов только в идеальных условиях, достичь которых на практике (за пределами лаборатории) не представляется возможным.

Очень важно предварительно определить стоимость ошибки. Если она не повлечёт за собой никаких серьёзных последствий — смело вызывайте монтажников и внедряйте систему идентификации. Если же вы не готовы к просчётам системы, которые ставят под сомнение целесообразность её эксплуатации, следует заранее обсудить со специалистами все возможные тонкости и проблемы. Нелишним будет проведение тестирования технологии прямо на объекте.

Камеры следят за вами всюду. Как работает система распознавания лиц и нужно ли ее бояться

Камеры уже повсюду. Как нейронные сети следят за нами, нарушает ли это наши права и как изменится пугающая технология в будущем – в материале The Guardian.

Программа распознавания лиц – что это такое?

Сегодня технология распознавания лиц используется повсеместно. Facebook, где вас отмечают на фото с встречи одноклассников, свадьбы вашего кузена или летней вечеринки на работе. В программы Google, Microsoft, Apple и так далее встроены приложения для накопления информации.

Программа распознавания лиц используется в аэропортах, она есть в вашем телефоне – с ее помощью вы можете его разблокировать. И если вам нужно подтвердить свою личность для банковского перевода в £1,000, просто посмотрите в камеру.

Новые приложения появляются все время. Хотите знать, кто стоит за дверью? Видео-дверной звонок с программой распознавания лиц сообщит вам, если вы заранее загрузили фотографии ваших знакомых.

Многочисленные системы используются для обнаружения пропавших без вести и ловли прогульщиков, которые не приходят вовремя на работу. Рекламодатели, конечно, тоже не остаются в стороне. Благодаря программам распознавания лиц на рекламных щитах сегодня появляется тот товар, который интересен именно вам, исходя из оценки вашего пола, возраста и настроения.

Большой Брат здесь? Программа распознавания лиц – инструмент контроля?

В определенных случаях, конечно. Китай использует программу для расового профилирования. Резкую критику получила правительственная практика использования программы для отслеживания и контроля над мусульманами-уйгурами. Камеры с программой распознавания лиц отслеживают и штрафуют пешеходов, отмечают учеников при входе в школу и контролируют выражение их лиц на уроках, чтобы те не отвлекались.

В России технология также используется. <…>

Согласно источникам, Израиль использует распознавание лиц для слежения за палестинцами на Западном берегу реки Иордан. А в Британии полиция столицы и Южного Уэльса опробовала программу распознавания лиц, чтобы находить людей среди футбольных и регбийных толп, на городских улицах, а также на памятных мероприятиях и музыкальных фестивалях. Тейлор Свифт даже использовала программу на концерте в Калифорнии, чтобы отсеять нежелательных посетителей.

В магазинах программа все чаще используется для отпугивания и поимки воров. В следующем году она дебютирует на Олимпийских играх в Токио.

Как технология распространяется?

Большую роль сыграли достижения в трех областях: большие данные (big data), глубокие сверточные нейронные сети и мощные графические процессоры.

Благодаря Instagram, Facebook, Flickr, Google и другим системам в интернете находятся миллиарды фотографий лиц людей, которые были объединены в огромные наборы данных. Они используются для обучения глубоких нейронных сетей – главной опоры современного искусственного интеллекта – для обнаружения и распознавания лиц. Рутинная вычислительная работа обычно выполняется на графических процессорах, сверхбыстрых чипах, которые предназначены для обработки графики. Но за последнее десятилетие системы распознавания лиц распространились повсюду, и данные, собранные по ним, помогли компаниям отточить свои технологии.

Как это работает?

Во-первых, компьютер должен понять, что такое лицо. Научить его можно через алгоритм, обычно глубокой нейронной сети, на примере огромного количества фотографий в различных приложениях. Каждый раз, сталкиваясь с изображением, алгоритм оценивает, где находится лицо. Сначала будет много мусора, но постепенно алгоритм улучшается и в конечном итоге овладевает искусством определения лиц. Это шаг к функции распознавания лиц.

Следующая ступень – распознавание. Обычно используется вторая нейронная сеть. Она получает серию фотографий и учится отличать одно лицо от другого. Некоторые алгоритмы непосредственно отображают лицо, измеряя расстояния между глазами, носом и ртом и так далее. Другие отображают лицо, используя более абстрактные черты. В любом случае, сеть выводит вектор для каждого лица – строку чисел, которая однозначно идентифицирует человека среди других в обучающем блоке.

Программное обеспечение работает с видеоматериалами в режиме реального времени. Компьютер сканирует кадры видео, как правило в местах скопления людей, например на входе на футбольный стадион. И сначала он обнаруживает в кадре лица, а затем выдает векторы для каждого из них. Затем векторы лица сравниваются с векторами лиц людей в розыскном списке. Все совпадения, которые проходят предварительно установленный порог, затем ранжируются и отображаются.

Это не единственный способ, который использует полиция для распознавания лиц. Если подозреваемый замечен, офицеры могут загрузить снимки преступника из базы данных и искать записи с камер видеонаблюдения, чтобы проследить путь подозреваемого до места преступления.

Насколько это точно?

Независимые тесты Национального института стандартов и технологий США (NIST) показали, что за период с 2014 до 2018 года системы распознавания лиц улучшили показатели совпадения по базе портретных фото в 20 раз. Процент сбоев снизился с 4% до 0,2% за этот период, и такое значительное увеличение точности связано с глубокими нейронными сетями. В институте заявили, что сети привели к «промышленной революции» в распознавании лиц.

Но такая отличная производительность возможна в идеальных условиях: при наличии четкого и ясного снимка неизвестного человека, который проверяется по базе данных других высококачественных фотографий. В реальном мире изображения могут быть размытыми или снятыми при плохом освещении, люди могут отвести взгляд от камеры, надеть платок или шарф, или быть намного старше, чем на фотографии на аватарке.

И согласно тестам, проведенным институтом, даже при использовании лучших алгоритмов система дает сбои при попытке различить лица близнецов.

А как насчет системных ошибок?

Проблема возникает, когда нейронные сети обучаются на различном количестве лиц из разных групп людей. Например, если система обучается на миллионе белых мужских лиц, но почти не использует лица женщин и людей с другим цветом кожи, она будет менее точна при попытке распознать последние две группы. Меньшая точность означает больше ошибочных идентификаций, и в результате большее количество людей будут ошибочно задержаны.

В прошлом году Американский союз защиты гражданских свобод (ACLU) обнаружил, что программное обеспечение от Amazon под названием Rekognition ошибочно идентифицировало 28 членов Конгресса как людей, которые ранее находились под арестом. Оно непропорционально и неправильно идентифицировало афроамериканцев и латиноамериканцев. Но в Amazon сказали, что в ACLU просто использовали неправильные настройки.

Судебные тяжбы также выявили недостатки программы распознавания лиц. Исследование Кардиффского университета в Южном Уэльсе показало, что действенность системы NEC NeoFace снизилась, когда на экране было много людей, и она хуже работала в пасмурные дни и вечером, когда светочувствительность камеры повышалась и кадры становились более «шумными».

За 55 часов работы система отметила 2 900 потенциальных совпадений, из которых 2 755 были ложными. Основываясь на показаниях системы, полиция произвела 18 арестов, но в докладе университета не говорится, были ли кому-либо предъявлены обвинения.

Уэльский суд выделил еще одну проблему при распознавании лиц: овцы. Так называют людей из списка подозреваемых, которые не имеют особых примет и похожи на многих других людей. Во время сканирования толпы на матчах по регби в Уэльсе система NeoFace 10 раз обнаружила женщину из списка подозреваемых полиции Южного Уэльса. Ни одна из них не была настоящей подозреваемой.

Кто владеет технологией?

Технологические фирмы по всему миру развивают программы распознавания лиц, но США, Россия, Китай, Япония, Израиль и Европа лидируют. В некоторых странах технология применяется с большей готовностью, чем в других.

В Китае миллионы камер подключены к программному обеспечению распознавания лиц, а Россия заявила о планах использовать для наблюдения собственные сети. В Европе, как и везде, программа распознавания лиц используется в магазинах для задержания воров и в бизнесе для мониторинга персонала и посетителей, но распознавание лиц в режиме реального времени в общественных местах пока на стадии судебных разбирательств.

В США полиция обычно использует систему распознавания лиц для идентификации подозреваемых по видеозаписям с камер наблюдения, а не для сканирования толп людей в режиме реального времени. Но все равно система используется все больше. Согласно отчету 2016 года Центра права Университета Джорджтаун, половина всех американцев находится в полицейских базах данных по распознаванию лиц, а значит, алгоритмы выбирают подозреваемых из 117 миллионов виртуальных профилей законопослушных граждан.

Что говорит об этом закон?

Почти ничего. В Великобритании нет закона, который дает полиции право использовать программу по распознаванию лиц, и никакой государственной политики по ее использованию. Это привело к тому, что комиссар по биометрии Пол Уайлс назвал ситуацию выгодной для полиции, которая сама решает, где и когда целесообразно использовать программу распознавания лиц и что делать с изображениями, которые снимают камеры.

Компания «Свобода» призвала к полному запрету использования программы в режиме реального времени в общественных местах, заявляя, что она нарушает право на частную жизнь и принуждает людей менять свое поведение. Группа подала судебный иск против полиции Южного Уэльса в связи с использованием этой технологии. Подобные же претензии выразил Эссекский университет в ходе независимого обзора использования полицией программы распознавания лиц. Было доказано, что людей ошибочно задерживали, а значит, технология используется для выслеживания людей, которые вовсе не находятся в розыске. В заключении было сказано, что распознавание лиц в режиме реального времени нарушает закон о правах человека.

Еще одна область разногласий – списки людей, находящихся в розыске. Несмотря на решение Верховного суда 2012 года, что хранение изображений невинных людей незаконно, полиция постоянно создавала базу данных из задержанных 20 миллионов человек, многие из которых так никогда и не были осуждены. Фотографии из базы данных и из социальных сетей используются для создания списков людей, находящихся в розыске, и используются в системах распознавания лиц. В частном бизнесе ситуация еще хуже – владельцы магазинов и предприятий сами решают, кто входит в секретные списки находящихся в розыске и обмениваются фотографиями с другими фирмами.

В США ситуация не намного лучше. Только в пяти штатах есть законы, которые касаются использования программы по распознаванию лиц правоохранительными органами. Путаница в законе привела к тому, что в то время, как в полиции Сиэтла и Сан-Франциско запрещено использовать программу в режиме реального времени, в офисе шерифа в округе Марикопа, штат Аризона, каждое фото и водительские права жителей Гондураса проверяются по списку подозреваемых через программу распознавания лиц.

Как насчет других биометрических данных?

Конечно, технология распознавания лиц в центре внимания, но полиция и другие организации внимательно изучают новые биометрические данные, которые идентифицируют людей, помимо отпечатков пальцев и ДНК.

Говорят, что анализы текстуры кожи компенсируют проблемы при попытке распознать частично закрытые или искаженные лица, анализируя расстояние между порами кожи. Этот метод не часто тестировался, но разработчики утверждают, что, возможно, он позволит различать близнецов.

Еще один биометрический анализ, который интересует полицию, так как он применим на расстоянии и без взаимодействия с человеком, – это анализ походки.

Алгоритмы идентифицируют людей по уникальному стилю их шага, отражая различия в анатомии, генетике, социальном происхождении, привычках и индивидуальности.

Алгоритмы идентифицируют людей по уникальному стилю их шага, отражая различия в анатомии, генетике, социальном происхождении, привычках и индивидуальности.

Есть еще распознавание вен, когда оптические сканеры составляют карту кровеносных сосудов на руке, пальце или в глазу. Считается, что сканеры трудно обмануть, так как наши вены находятся под кожей. Система PalmSecure Fujitsu использует карты вен для мониторинга сотрудников на различных предприятиях.

Идентификация голоса уже используется банками и Министерством по налогам и сборам для подтверждения личности. В отличие от распознавания речи, которое переводит звуки в слова, идентификация голоса обнаруживает уникальные акустические паттерны, созданные голосовым трактом человека и его речевыми привычками.

Что дальше?

Вполне возможно, что эта технология станет вездесущей. Американская фирма Vuzix объединилась с дубайской фирмой NNTC для производства смарт-очков для распознавания лиц. В оправу вставлена крошечная восьмимегапиксельная камера, которая сканирует лица прохожих и предупреждает владельца о любых совпадениях в базе данных из миллиона человек. В Великобритании беспроводное видеонаблюдение работает на полицейских нательных камерах, которые делают почти то же самое. В США недавно запатентована полицейская нательная камера, которая начинает запись, когда лицо подозреваемого опознано.

А между тем технические фирмы совершенствуют свои системы, чтобы работать быстрее, с большим количеством лиц и со все более сложными изображениями – сделанными при плохом освещении или если люди прикрывают лица. Ведется работа над алгоритмами, которые смогут идентифицировать людей в масках и с использованием маскировки. Чтобы сделать системы распознавания еще более эффективными, биометрия лица будет сочетаться с другими биометрическими анализами, такими как голос и походка.

Неудивительно, что гонка вооружений началась: исследователи из Университета Карнеги-Меллона в Питтсбурге разработали свои собственные солнцезащитные очки, чтобы обмануть систему распознавания лиц: так один испытатель в очках был идентифицирован как Мила Йовович.

Большой брат (пока) подслеповат

Полагаю, прямо на наших глазах разворачивается переход между второй и третьей стадиями принятия неизбежного (гнев и торг) по поводу повсеместно установленных умных камер, чья функция заключается в устранении последних следов приватности в общественных местах.

Распознавание лиц и биометрия — лишь частные случаи более обширных разработок в области машинного зрения, но именно эти аспекты воспринимаются максимально болезненно, поскольку человека угнетает повсеместная слежка.

Я заинтересовался состязательными нейронными сетями, когда глубокой осенью 2018 года прочел статью «Do neural nets dream of electric sheep?» («Снятся ли нейронным сетям электроовцы»)? Автор проанализировала несколько примеров, где нейронка изрядно озадачивается, обнаружив овец в необычном сеттинге. Особенно интересен следующий пример:

Как видите, и NeuralTalk2, и Azure «мыслят стереотипно»: в датасетах, на которых они обучались, овцы не лазали по деревьям, поэтому одна сеть увидела здесь «стаю крупных белых птиц», а другая «стадо жирафов». В другом примере подобных атак на алгоритмы компьютерного зрения (такие примеры называются «состязательными») обнаруживается, что даже небольшой поворот изображения сбивает нейронную сеть с толку:

Револьвер превращается в мышеловку, лодочная станция – в гильотину, а сервант с фарфором – в прожектор. Причем, в примере с сервантом мне даже удается посмотреть на эту ошибку «глазами нейронки», но остальные ее ошибки понять не получается.

Попытки эксплуатации аналогичных уязвимостей при распознавании лиц активизировались в 2019 году после манифестаций в Гонконге, когда стало понятно, что маскировка эффективнее брутфорса (протестующие пытались громить умные камеры). Последовавшая вскоре эпидемия COVID-19 и масочный режим вновь подстегнули такие исследования и, в частности, показали, что маска – плохая защита от нейронки. Лицо человека имеет характерную форму (скулы) и симметрию, кроме того, легко выявляется по симметричным и при этом блестящим глазам. На Хабре публиковался перевод интересного исследования о том, легко ли обмануть алгоритм распознавания лиц при помощи медицинской маски (спойлер: нет).

Обнаружение и распознавание лиц

Для начала разграничим две эти задачи – на самом деле, они сильно отличаются по сложности. Для обнаружения лица (1) достаточно, чтобы программа выявляла на картинке овал, а на нем – два глаза. Но для того, чтобы убедиться, что это именно человеческое лицо, а тем более распознать его, требуется гораздо более скрупулезный анализ характерных точек. Далее коротко расскажу о градиентной маскировочной маске, описанной в статье Брюса Макдональда.

Таким образом, алгоритм распознавания лица учитывает положение сразу множества легко идентифицируемых точек: зрачка, радужки, мочек ушей, уголков губ, кончика носа, скул – а также расстояния между этими точками. Поэтому обычная медицинская маска – не лучшая маскировка. Она не закрывает глаз, не закрывает ушных мочек; общая симметрия лица также сохраняется. Но в 2019 году, до повсеместного распространения масочного режима, антинадзорная градиентная маска была по-настоящему интересной находкой:

Программа на Python (исходный код) создает градиентный узор/шум (так называемые «гистограммы направленных градиентов»), распределяющий линии и продолговатые фигуры таким образом, что они кажутся камере видеонаблюдения набором схематически очерченных лиц. Обратите внимание на имитацию глаз и бровей. Методом Q-обучения автор также нашел такой вариант замощения маски этими группами характерных точек, при котором «лица» выглядят разупорядоченно и тем более осложняют опознание носителя маски:

По-видимому, такой антинадзорный узор действительно эффективен для обмана простого приложения вроде Snapchat или камеры видеонаблюдения. Тем не менее, эпидемия внесла коррективы в работу компьютерного зрения: теперь алгоритмы целенаправленно тренируют на распознавание лица в маске. Так, на Хабре в корпоративном блоге «Productivity Inside» была переведена статья Томаса Смита, который попытался обмануть приложение Face++. Эта программа не только распознает лица, но и сравнивает лица, отснятые в разных условиях, чтобы проверить, принадлежит ли лицо с обоих кадров одному и тому же человеку.

Точность распознавания лица в этой программе без применения маски составила более 95%, а различные маски все равно не слишком сбивали Face++: детская маска с собачьей мордочкой снижала точность распознавания до 82,4% — хотя теоретически «второе лицо» должно было дезориентировать систему. Автор предположил, что лицо распознавалось лучше, так как сама (детская) маска была меньше. Обычная медицинская маска снижала точность распознавания лица до 74,7%, что все равно очень высоко, а маска с вышеприведенным антинадзорным узором вообще не помогла: точность распознавания выросла более чем до 83%. Таким образом, в 2020 году алгоритмы компьютерного зрения уже явно ориентированы на распознавание масок. Но программа в принципе не смогла обнаружить лицо на фотографии, когда автор вместе с обычной медицинской маской надел черные очки. Таким образом, сокрытие большей части лицевых скул, носа и глазной симметрии по-прежнему эффективно против распознавания лиц.

Именно на уничтожении лицевой симметрии сосредоточен макияж-камуфляж по технологии CV Dazzle, разработанный Адамом Харви. Поскольку алгоритмы распознавания анализируют свыше 60 ключевых точек на лице, одного лишь макияжа недостаточно: слишком велика избыточность алгоритма. Зато помогают накладные волосы, шиньоны и скрывание хотя бы одного глаза. Полностью приведу здесь советы по стилю CV Dazzle:

Макияж: Избегайте тональных кремов. Они только подчеркивают ключевые точки лица. Вместо этого применяйте макияж, который придает лицу необычную контрастность как по цвету, так и по сочетанию: светлые тона на темной коже и темные пятна на светлой.

Переносица: Нужно частично закрыть область переносицы. При распознавании лиц наиболее важен тот регион, где сходятся лоб, нос и глаза. Мера особенно эффективна против алгоритма обнаружения лица из OpenCV.

Глаза: Частично закройте одну или обе глазницы. Симметричное положение и темный цвет глаз – ключевые признаки, выдающие лицо.

Маски: вместо скрывания лица маской меняйте контраст, тональные градиенты, а также пространственные сочетания темных и светлых областей на лице: для этого меняйте прическу, макияж, надевайте необычные украшения.

Голова: Исследование Ранрана Фэня и Балакришнана Прабхакарана из Техасского Университета показало, что запутать алгоритм распознавания лиц можно, скрыв эллиптические очертания головы. В качестве камуфляжа подойдут прически, водолазки и другие украшения, скрывающие эллиптическую форму лица.

Асимметрия: алгоритмы обнаружения лица учитывают симметрию между левой и правой стороной лица. Выбирая асимметричный образ, эти алгоритмы можно обмануть.

Здесь находим одно принципиальное пересечение с опытом Томаса Смита: скрываем глаза. Смит сделал это, надев черные очки. Также было бы удобно разрушить симметрию, скрыв один глаз:

Тем не менее, подобный камуфляж – пиррова победа, поскольку он делает человека малозаметным для камер, зато крайне заметным для человека. Менее броский вариант антинадзорной маскировки был придуман в 2017 году; его предложил инженер Яндекса Григорий Бакунов @bobuk. Его макияж для защиты от распознавания лиц делается при помощи блестящих полос и точек; показал себя особенно эффективным, чтобы сбивать с толку биометрию. То есть, макияж Бакунова не столько мешает камере распознать лицо – как вы помните из вышеприведенных примеров, камера вполне обнаружит лицо по ключевым точкам – сколько затрудняет опознание человека.

По словам Бакунова, проект был свернут после получения первых положительных результатов, так как технология легко может быть использована во зло. Но она подсвечивает еще одну важную уязвимость: алгоритмы распознавания лиц настолько полагаются на симметрию глаз, что их можно ловить как раз на этом. Китайские ученые показали, что устройство Apple, открывающееся по идентификации лица пользователя (FaceID) легко обмануть, надев на спящего обладателя устройства очки, на которые на месте зрачков наклеены две черные точки. FaceID распознает лицо по ключевым точкам, а зрачки как таковые не распознает – ему достаточно характерной глазной симметрии и двух черных точек на месте зрачков.

Таким образом, чтобы обмануть видеонаблюдение, важнее скрывать симметрию области глаз; темные очки из опыта Смита — более эффективная маскировка, чем медицинская маска. Что касается опытов Бакунова, их успешность могла быть связана со сравнительным несовершенством технологий распознавания в 2017 году. Если система все-таки вычленит в толпе лицо, сопоставить его с фото в базе – дело техники.

Кепка-невидимка

Уже в опытах Харви отмечалось, что распознавание лица значительно усложняет шляпа с полями. Шляпа – простейшее устройство, корректирующее отражательную заметность глаз; то есть, поля частично блокируют как свет, попадающий в глаза, так и отраженный от глаза свет. Еще недавно шляпа была всеобщим мужским аксессуаром, в ней человек не выделялся в толпе. Поэтому данное направление исследований кажется предпочтительнее, чем макияж-камуфляж. Первое достижение в этой области – инфракрасная кепка:

Подобное устройство используется для «атаки с невидимой маской» IMA. На рынке доступны дешевые светодиоды, испускающие инфракрасное излучение с длиной волны 850 или 940 нм. Такой свет неразличим для человека, но отлично захватывается камерами видеонаблюдения. Такая камера раскладывает «увиденное» лицо на цветовые каналы R, G и B, и при этом весь инфраскрасный свет попадает в канал R, сильнейшим образом искажая картинку. Такие светодиоды под козырьком кепки практически не заметны, питание для них также требуется минимальное (по данным авторов, аккумулятор 18650 может поддерживать светодиод не менее двух часов).

Извлечение лица из последовательности видеокадров и сравнение найденного лица с фотографией из базы данных осуществляется методом «Face embedding» (встраивание лица). Лицо извлекается со множества кадров видео, эти данные преобразуются в векторы, после чего сравниваются с фотографией человека, которая может быть преобразована в такой же вектор. Инфракрасная кепка позволяет сорвать этот процесс уже на самом первом этапе, то есть, не дает вычленить лицо в толпе.

Эффективность такой кепки должна снижаться при ярком естественном освещении, а также, скорее всего, легко нивелируется при встраивании в камеру видеонаблюдения такого режима, который позволяли бы ей отсекать весь инфракрасный спектр, либо интерпретировать его как красный. Кроме того, светодиоды вполне могут быстро посадить зрение: пусть человек и не воспринимает инфракрасного излучения, в данном случае прямо вам в глаз светит яркая лампочка, выжигающая вам сетчатку.

Заключение

Системы распознавания лиц и биометрия развиваются параллельно с цифровизацией человеческих учетных данных и, в сущности, противодействовать этому технологическому вектору очень сложно. Я полагаю, что подобные «состязательные» разработки для обмана идентифицирующих устройств рано или поздно будут криминализованы, но сам пока на биометрию переходить не собираюсь. В моем втором блоге на Хабре (куда вынес технические переводы) я недавно публиковал статью о том, что глубокое обучение уже упирается в пределы своих технических возможностей, поэтому до изобретения принципиально новых алгоритмов окончательная победа над подобными обманными приемами может быть еще далека. Предположу, что здесь мы скорее увидим гораздо более опасные атаки, когда злоумышленник научится виртуально накладывать на лицо преступника лицо другого человека, чтобы на пленке засветился невиновный человек, и можно было попытаться таким образом создать преступнику алиби. Либо могу представить дальнейшую миниатюризацию инфракрасных маячков, встраивание их в пирсинг, серьги или в контактные линзы. Макияж-камуфляж, вероятно, останется в истории подобной маскировки лишь первым и относительно «дешевым» шагом, который, однако, подсказал принципиально важные идеи и уязвимости для поборников приватности.