Как функционирует распознавание лиц в телефонах

Почему мы останавливаемся на разлочивание по фейсу

В недавние времена распознавание лиц превратилось в одной из самых популярных функций для открытия умных телефонов. Еще некоторые лет тому назад большинство юзеров обходились пин-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает данную возможность такой востребованной? Во-первых, это удобно: не нужно удерживать в памяти сложные пароли или находить нужный палец в тьме. Также, это мгновенно: современные системы распознают лицо фактически за мгновение. В-третью очередь, это впечатление будущего — как будто в кинолентах про вулкан россия разведчиков.

Впрочем за этой кажущейся легкостью таится целый вселенная комплексных техник и инженерных разработок. Позвольте нам понять, как конкретно функционирует распознавание лиц в актуальных смартфонах, какие применяются технологии, насколько они защищены и что нас ждёт впереди.

Короткая повествование развития технологии

Идентификация лиц как техника имеется уже более 50 годов. Изначальные попытки автоматизированного анализа лица были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры могли лишь обозначать силуэты головы и вычислять расстояния между зрачками и устами на ахроматических снимках.

Начальные коммерческие платформы возникли в девяностых годах, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, мощных мобильных процессоров распознавание лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Ключевые стадии работы системы распознавания

Процесс определения лица можно ориентировочно сегментировать на несколько ключевых этапов:

Идентификация лиц — камера распознает существование людского лица в снимке.
Извлечение особенностей — система исследует черты лица: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с образцом — полученный шаблон сверяется с сохранённой при учёте биометрической информацией владельца.
Принятие решения — если совпадение достаточно значительное, смартфон деблокируется.

Всякий из этих шагов нуждается в специальных методов и оптимизаций для быстрой работы прямо на устройстве.

Технические элементы: что скрыто внутри

Типичная фронтальная камера.

Простейший легкий метод определения лица применяет только фронтальную камеру мобильного устройства. Данный метод внедрён во многочисленных доступных вариантах Android-девайсов.

Положительные стороны:

Необходимо нуждается в внешних датчиков.
Быстро действует при достаточном освещённости.

Слабые стороны:

Легко одурачить изображением или видеозаписью.
Неправильно действует при слабом освещении или необычных ракурсах.

Инфракрасная фотокамера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким способом это функционирует:

Точечный проектор показывает на лицо юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
Инфракрасная устройство регистрирует искривление данной решетки по поверхности лица.
Получается трёхмерная карта глубины глубины, что практически неподвластна для подделки стандартной фото или маскировкой.

Плюсы

Надёжная функционирование даже в полной неосвещённости.
Большая защита к имитациям.
Точность распознавания выше 99%.

Добавочные сенсоры

В отдельных девайсах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения света до предмета и обратно; RGB-датчики дальности; специальные оптические дальномеры для формирования более детализированной 3D-модели физиономии.

Эти технологии применяются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный разум в действии

Современные механизмы идентификации лиц невозможны в отсутствие использования ИИ и machine learning. Именно из-за таким разработкам, как вулкан россии, аппарат в состоянии распознавать пользователя даже при метаморфозах внешности: новая стрижка, щетина, оптика или косметика не становятся барьером для открытия.

Обнаружение лица

На первом стадии алгоритм необходимо быстро найти ликовое изображение в пределах целого изображения с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать облик даже с частичном перекрытии (например, шарфом или ладонью).

Идентификация основных точек

После обнаружения лица устройство, такая как вулкан россии, вычисляет положение ключевых точек: кончики глаз, кончик носа, контуры губ и так далее. Обычно применяется от 68 до 128 основных точек на лицевой поверхности.

Это нужно для нормализации картинки: если юзер находится с телефон под наклоненным, или повернул голову, программа “выпрямляет” картинку до стандартного положения для дальнейшего анализа.

Формирование биометрического шаблона

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Такой шаблон крайне сложно подделать: он не сохраняет непосредственно картинку пользователя, а лишь уникальные черты его облика, что делает его оптимальным для таких платформ, как vulkan russia.

Сравнение и осуществление заключения

В случае, когда юзер хочет разблокировать мобильник взглядом, система воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Приспособление к метаморфозам облика

Занимательная черта современных систем — способность самостоятельного обучения. Если ты постоянно доступаете к смартфон с обновленной стрижкой или оптикой, алгоритм постепенно обновляет основной модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрических информации.

Многие клиенты опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома гаджета. Некоторые компании, вроде vulkan russia, предлагают варианты для увеличения сохранности сведений пользователей.

Локальное хранение: Основная часть аппаратов хранит биометричные образцы исключительно внутри защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не выходят из гаджет и недоступны даже изготовителю.
Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Следует подчеркнуть существенную подробность: если кто-то достанет доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители внедряют защиту от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории распознавания лиц?

В настоящее время можно выделить определить три основных способа к осуществлению этой функции:

Программируемое 2D распознавание

Используется только лицевая камера без дополнительных детекторов глубины. Такой способ наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; низкая цена; оперативная деятельность при хорошем освещении.
Минусы: просто ввести в заблуждение фотографией; ненадежная деятельность ночью; слабая охрана.

Оборудование для 3D сканирование

Использует инфракрасную видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надежность; не получится обмануть фото/видео; постоянная работа при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с дополнением ИИ

Задействуют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock современных поколений, объединяют фронталку c инфракрасным сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры эксплуатации различных методов

iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 имеют как софтверное двухмерное распознавание по фото фронтальной камерой, так и сканер радужки глаза.
Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Трудности охраны и неверные тревоги

Несмотря на замечательный успехи техники за недавние годы, идеальных механизмов пока не наблюдается:

Шанс подвоха: Доступные мобильники без труда доступны качественной фотографией пользователя или же видео с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные системы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
Трансформации облика: Резкое утрата веса/набор веса, пластические операции или повреждения порой требуют обновления данных биометрических данных.
Условия записи: Интенсивная засветка солнцем или же плотная затенение могут уменьшить точность идентификации признаков.

Ниже некоторые подсказок по надёжному применению:

Для значимых операций всегда используйте двухфакторную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Регулярно обновляйте прошивку прошивку мобильного устройства для предотвращения угроз от современных угроз;
Включайте опцию “Требовать открытых глаз” там, где она доступна.

Где также находится применение технологии за исключением смартфонов?

Пускай тема нашей статьи посвящена именно портативным гаджетам, следует отметить альтернативных областях использования технологии:

Управление входа в офисах и жилых домах;
Платёжные аппараты банков (“Face Pay”);
Цифровые идентификационные документы современного образца;
Установки видеоконтроля городских служб;
Автоматизация отслеживания явки образовательных учреждений/вузов;
Аутентификация пользователей ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Похожие программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как изменяется технология в наше время?

Любой годочек возникают современные идеи для усовершенствования качества работы систем распознавания лиц:

Увеличивается чёткость датчиков — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше риск неточности;
Совершенствуются нейронные сети — новейшие конструкции модели MobileNetV3 дают возможность быстро обучаться дополнительным чертам внешности владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются технологии антиспуфинга — теперь смартфоны умеют различать реальные живые лица от фиксированных фотографий/маскировок по мельчайшим движениям кожи.
Взаимодействие со умными устройствами — смарт-часы могут авто блокировать смартфон, если обладатель отошёл далеко.
Появляются смешанные устройства — в частности объединяющие аудио аутентификацию + физиономию + дактилоскопический след.

Итак, какие направления очень востребованы сейчас:

1) Миниатюризация компонентов

Изготовители пытаются минимизировать размер выреза (“чёлки”) для сенсоры на дисплее за счёт внедрения маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для повышения личной безопасности всё более вычислений осуществляется на месте без передачи данных во внешний облачный услугу.

3) Унификация регламентов

Google интенсивно продвигает стандарт BiometricPrompt API, чтобы аналогичные платформы, как вулкан россия, и все Android-аппы могли работать с различными типами биометрии единообразно.

Что подобрать сегодня?

Если вам важна максимальная сохранность информации, выбирайте топовые аппараты с вмонтированным ИК-проектором либо ToF-сенсором глубины.

iPhone каждого актуальных версий
Huawei Partner/P ряда
Mix Professional
Vivo X серии
Oppo Find X линейки.

Если бюджет невелик – лучше выбирать обычным методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как опциональную возможность комфорта.

Каким образом увеличить практичность использования опции?

Есть пара советов для людей, кто уже пользуется функцию распознавания лица:

Периодически обновляйте свою изображение-шаблон, если сильно меняется внешний вид.
Не забывайте протирать линзу передней камеры – разводы могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает камеру как только вы поднимаете его.
При регистрации постарайтесь удерживать лицо неподвижно перед объектива исключая значительного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Перспективы развития технологии

В скоро наступающие времена можно предвкушать возникновения полностью безконтактных способов опознания человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + голос + манера ходьбы + манипуляции руками!

Также возможно развитие современных подходов охраны личной информации – к примеру, изменяющееся изменение диджитал шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных инноваций нашего времени! Она обеспечивает интеракцию со мобильным устройством проще чем когда-либо прежде, и такие приложения, как vulkan russia, могут значительно оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как устроена эта система в деталях, – сумеете вдумчиво определять свой очередной девайс!