Как работает определение лиц в мобильных устройствах

Почему мы выбираем разблокирование по лицу

В последние времена распознавание лиц превратилось в одной из наиболее востребованных возможностей для разблокировки умных телефонов. Лишь пару годов тому назад основная часть юзеров довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает данную функцию очень нужной? Во-первых, это комфортно: не нужно помнить трудные пароли или находить нужный палец в темноте. Кроме того, это оперативно: современные системы идентифицируют лицо практически за мгновения ока. В-третью очередь, это чувство футуристичности — как будто в фильмах про вулкан россия разведчиков.

Впрочем за данной кажущейся несложностью прячется весь универсум комплексных технологий и инженерных решений. Позвольте нам понять, как точно функционирует фейсканирование в новейших мобильных телефонах, какие существуют методы, насколько они надёжны и что нас ждёт впереди.

Краткая история эволюции техники

Распознавание лиц как методика существует уже более 50 лет. Начальные попытки автоматизированного исследования лица были предприняты еще в 1960-х годы в лабораториях США. Тогда ЭВМ способны были лишь выделять контуры лица и вычислять дистанции между очами и устами на монохромных фотографиях.

Первые торговые платформы возникли в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких систем, как вулкан россии, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои разработки.

Основные шаги работы механизма распознавания

Процесс распознавания лица можно условно сегментировать на несколько ключевых этапов:

Идентификация лиц — устройство определяет наличие людского образа в изображении.
Извлечение особенностей — алгоритм исследует черты лица: очертания глаз, носа, уст, положение бровей.
Построение структуры — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение с эталоном — сформированный образец сравнивается с записанной при внесении биометрической данными владельца.
Принятие выбора — если совпадение достаточно высокое, смартфон разблокируется.

Каждый из этих шагов требует особых алгоритмов и улучшений для быстрой работы непосредственно на девайсе.

Железные составляющие: что скрыто внутри них

Типичная фронтальная камера.

Простейший несложный способ определения облика использует только лицевую камеру смартфона мобильного устройства. Данный подход внедрён во многочисленных доступных моделях Android-девайсов.

Плюсы:

Необходимо требует дополнительные сенсоров.
Быстро работает при хорошем освещении.

Недостатки:

Легко одурачить снимком или видеозаписью.
Неудачно функционирует при слабом освещении или необычных ракурсах.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Каким образом это функционирует:

Точечный проекционный прибор показывает на лицо использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 пятен).
Инфракрасная устройство регистрирует деформацию данной сетки по плоскости лица.
Получается 3D карта глубинности, что почти невозможна для фальсификации стандартной фотографией или маскировкой.

Выигрыши

Надёжная функционирование даже в полной тьме.
Сильная сопротивляемость к имитациям.
Точность определения свыше 99%.

Дополнительные сенсорные устройства

В некоторых аппаратах используются также экстра сенсоры: ToF (Time-of-Flight), которые определяют время движения света до предмета и обратно; RGB-датчики дальности; специальные световые измерители расстояния для создания более аккуратной 3D-модели лица.

Эти разработки применяются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный ум в действии

Нынешние механизмы идентификации лиц немыслимы без эксплуатации artificial intelligence и machine learning. Именно из-за таким разработкам, как вулкан россии, аппарат способно узнавать пользователя даже при изменениях внешнего вида: новая причёска, щетина, очки или грим не становятся препятствием для деблокировки.

Обнаружение лиц

При стартовом шаге алгоритм необходимо мгновенно найти лицо в пределах полного снимка камеры. Для этой задачи применяются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать облик даже при частичном закрытии (например, шалью или ладонью).

Выделение важных моментов

После распознавания лица механизм, такая как вулкан россии, устанавливает местоположение основных точек: кончики глаз, верхушка носа, края губ и так далее. Часто задействуется от 68 до 128 ключевых меток на лице.

Данное требуется для стабилизации картинки: если человек держит смартфон под наклоном, или наклонил голову, программа корректирует картинку до обычного угла для дальнейшего анализа.

Построение биометрического шаблона

Далее нейронная сеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Такой формат крайне затруднительно имитировать: он не сохраняет само картинку пользователя, а лишь исключительные особенности его вида, что делает его идеальным для таких платформ, как vulkan russia.

Сравнительный анализ и осуществление заключения

Если юзер хочет разлочить мобильник взором, система воспроизводит все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Привыкание к изменениям облика

Интересная характеристика нынешних системы — возможность самостоятельного обучения. Если ты часто открываете телефон с новой прической или очками, система постепенно освежает основной образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Защита биометрии информации.

Большинство пользователи боятся хранить свои биометрические идентификационные данные на телефоне из-за вероятности потери данных или взлома гаджета. Определенные фирмы, например vulkan russia, предлагают варианты для увеличения сохранности данных клиентов.

Локальное сохранение: Основная часть аппаратов хранит биометрические модели лишь в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют аппарат и закрыты включая создателю.
Шифрование: Все сведения хранятся только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения третьих девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Следует упомянуть значимую особенность: если кто-либо достанет физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют меры безопасности от “слепого” разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц?

Сегодня можно различить 3 главных подхода к реализации этой задачи:

Программное двухмерное идентификация

Используется только лицевая видеокамера без дополнительных сенсоров дистанции. Подобный метод встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная цена; скоростная деятельность при хорошем освещении.
Минусы: легко обмануть фотографией; неустойчивая работа ночью; слабая безопасность.

Аппаратное трёхмерное оцифровка

Использует инфракрасную камеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: большая надёжность; нельзя исказить изображение/видеозапись; устойчивая деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры использования разнообразных методов

iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз представил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как софтверное двухмерное определение по изображению фронтальной камерой, так и датчик радужки глаза.
Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности защиты и ошибочные срабатывания

Несмотря на впечатляющий успехи технологий за последние годы, безупречных механизмов пока не имеется:

Шанс подвоха: Недорогие смартфоны легко доступны качественной снимком пользователя либо видео с дисплея иного гаджета.
Идентичные близняшки: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Изменения внешнего вида: Стремительное снижение веса/набор веса, пластические операции или повреждения в некоторых случаях требуют перерегистрации биометрии.
Условия записи: Сильная освещённость солнцем или же интенсивная темнота могут снизить точность идентификации признаков.

Здесь несколько советов для надёжному применению:

Для важных операций всегда внедряйте двухфакторную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение телефона для защиты от современных угроз;
Включайте функцию “Требовать раскрытых глаз” там, где она есть.

Где ещё применяется технологии за исключением мобильных телефонов?

Несмотря на то, что предмет данной статьи посвящена конкретно смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

Управление прохода в деловых центрах и многоквартирных зданиях;
Платёжные устройства банков (“Face Pay”);
Цифровые паспорта современного типа;
Системы видеоконтроля муниципальных подразделений;
Автоматизация регистрации явки образовательных учреждений/университетов;
Авторизация участников персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через турникет без пластика или мобильника! Похожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется техпроцесс сегодня?

Любой годочек проявляются современные мысли для улучшения стандарта функционирования систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше риск неточности;
Развиваются нейросети — передовые конструкции вида MobileNetV3 обеспечивают возможность скоростно осваивать свежим особенностям облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
Улучшаются технологии антиспуфинга — теперь телефоны умеют отличать подлинные анимированные лица от неподвижных фотографий/масок по микроскопическим движениям кожи.
Интеграция со интеллектуальными приборами — смарт-часы могут самостоятельно блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Появляются комбинированные механизмы — в частности совмещающие голосовую идентификацию + облик + отпечаток пальца.

Вот, какие тренды очень востребованы на сегодняшний день:

1) Миниатюризация деталей

Изготовители стараются минимизировать размер отверстия (“чёлки”) под датчики на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения приватности всё более вычислений осуществляется внутри устройства без отправки данных во внешний облачный сервис.

3) Упорядочивание норм

Гугл энергично продвигает эталон BiometricPrompt API, с целью чтобы подобные системы, как вулкан россия, и любые Android-аппы были совместимы с различными типами биометрии единообразно.

Какое выбрать на сегодня?

Если тебе необходима наивысшая безопасность данных, подбирайте передовые устройства со встроенным ИК-излучателем или ToF-датчиком глубины.

iPhone всех новейших поколений
Huawei Mate/P Series ряда
Xiaomi Expert
Vivo X модели
Оппо Find Икс серии.

Если бюджет ограничен – лучше отдавать предпочтение классическим методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как дополнительную возможность комфорта.

Как повысить удобство функционирования функции?

Есть некоторые хитростей для пользователей, кто уже использует разблокировку через лицо:

Периодически меняйте свою фотографию-шаблон, если кардинально меняется облик.
Не пренебрегайте очищать линзу фронтальной камеры – разводы могут снизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает фотоаппарат как только вы берёте его в руки.
При записи старайтесь сохранять лицевую часть прямо напротив объектива не допуская значительного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отворачиваетесь от дисплея.

Возможности развития инноваций

В предстоящие периоды можно предвкушать появления полностью бесконтактных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + шаги + жесты рук!

Также вероятно возникновение свежих методов защиты приватности – к примеру, изменяющееся корректировка цифрового образца после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих техник нашего времени! Она предоставляет общение со смартфоном комфортнее чем раньше, и такие программы, как vulkan russia, могут существенно оптимизировать ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как функционирует эта методика изнутри, – будете в состоянии более осмысленно подбирать свой следующий гаджет!