Каким способом функционирует определение лиц в мобильных устройствах

Зачем мы выбираем разблокирование по лицевому распознаванию

В прошлые годы идентификация физиономий стало одной из наиболее востребованных опций для разблокировки смартфонов. Лишь некоторые лет назад основная часть пользователей обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что превращает данную возможность такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти трудные пароли или находить верный палец в темноте. Во-вторых, это оперативно: современные алгоритмы идентифицируют лицо фактически за мгновение. В-третьем пункте, это впечатление футуристичности — словно в фильмах про admiral x casino разведчиков.

Однако за этой кажущейся легкостью скрывается весь мир комплексных технологий и инженерных решений. Попробуем разобраться, как именно функционирует фейсканирование в новейших гаджетах, какие применяются способы, насколько они безопасны и что нас предстоит.

Сжатая хроника прогресса инноваций

Идентификация лиц как методика присутствует уже более 50 лет. Начальные пробы автоматизированного изучения лиц были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры могли лишь обозначать очертания черепа и измерять дистанции между глазами и губами на монохромных изображениях.

Начальные торговые платформы возникли в 90-х, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких систем, как адмирал х, мощных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои разработки.

Основные стадии работы устройства идентификации

Процесс распознавания лица можно условно сегментировать на несколько важных этапов:

Распознавание лица — устройство выявляет присутствие гуманного лица в изображении.
Определение характеристик — система изучает особенности облика: конфигурацию глаз, обонятельного органа, губ, расположение бровей.
Построение модели — создаётся неповторимый виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со образцом — полученный образец сравнивается с зафиксированной при внесении биометрической информацией владельца.
Принятие определения — если совпадение достаточно существенное, смартфон разблокируется.

Каждый из этих этапов требует специальных методов и усовершенствований для оперативной работы прямо на устройстве.

Железные компоненты: что находится в их недрах

Обычная селфи камера.

Наиболее легкий способ распознавания физиономии использует только лицевую камеру смартфона мобильного устройства. Подобный подход внедрён во различных недорогих вариантах Android-устройств.

Достоинства:

Необходимо потребляет дополнительных сенсоров.
Шустро функционирует при достаточном освещении.

Минусы:

Несложно одурачить фотографией или видеозаписью.
Неудачно действует при низком освещённости или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Как это работает:

Точечный проекционный прибор показывает на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
ИК устройство фиксирует искривление данной решетки по плоскости лица.
Создаётся 3D карта глубинности, что почти неосуществима для подделки обычной снимком или маскировкой.

Достоинства

Надёжная функционирование даже в полной темноте.
Высокая защита к фальсификациям.
Точность определения более 99%.

Дополнительные датчики

В некоторых устройствах применяются также экстра датчики: ToF (Time-of-Flight), которые измеряют период движения луча до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные лидары для создания более точной 3D-модели лица.

Эти разработки применяются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искуственный ум на исполнении

Современные механизмы опознания лиц невозможны при отсутствии применения artificial intelligence и machine learning. Именно вследствие таким разработкам, как адмирал х, гаджет в состоянии узнавать юзера даже при изменениях внешности: новая стрижка, щетина, оптика или грим не становятся помехой для деблокировки.

Обнаружение физиономии

В первом стадии алгоритм должна быстро найти ликовое изображение среди целого кадра камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии находить физиономию даже в случае частичном перекрытии (например, платком или ладонью).

Выделение важных точек

После обнаружения лица система, такая как адмирал х, определяет местоположение ключевых точек: уголки глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 главных точек на лицевой области.

Это действие нужно для нормализации визуала: если человек держит мобильник под наклоненным, или склонил голову, программа корректирует изображение до нормального состояния для последующего изучения.

Формирование биометрического шаблона

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон очень сложно подделать: он не сохраняет само фото пользователя, а лишь исключительные черты его облика, что делает его совершенным для таких площадок, как admiral-x.

Сравнительный анализ и вынесение выбора

Если человек хочет разблокировать смартфон взглядом, механизм воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Приспособление к метаморфозам внешнего вида

Интересная особенность актуальных систем — возможность самостоятельного обучения. Если вы регулярно открываете смартфон с свежей стрижкой или очками, программа постепенно модернизирует эталонный образец вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных данных.

Большинство клиенты беспокоятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома устройства. Некоторые организации, такие как admiral-x, предлагают варианты для улучшения защиты информации пользователей.

Локальное сбережение: Преимущественно аппаратов записывает био-идентификационные модели только внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и не доступны включая создателю.
Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения личности через системный API.

Следует подчеркнуть значимую особенность: если кто-то сможет получить доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители внедряют меры безопасности от “слепого” разблокирования — в частности, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории идентификации лиц на изображениях?

На сегодняшний день можно определить определить три ключевых способа к выполнению этой задачи:

Программируемое 2D определение

Применяется только передняя видеокамера без вспомогательных детекторов дистанции. Такой метод используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; минимальная затраты; скоростная работа при качественном освещении.
Минусы: несложно обмануть снимком; неустойчивая деятельность ночью; низкая защищенность.

Техническое 3D оцифровка

Задействует инфракрасную видеокамеру + проектор пикселей + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая надежность; невозможно исказить фото/видео; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с интеграцией ИИ

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как адмирал х и Google Pixel Face Unlock новейших поколений, объединяют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации эксплуатации разных способов

iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые представил эквивалент Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как программное обеспечение двухмерное распознавание по фото фронталкой, так и датчик радужки глаза.
Huawei Mate20 Pro использует набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные сигналы

Несмотря на впечатляющий прогресс инноваций за последние лет, идеальных системы пока не существует:

Вероятность обмана: Доступные смартфоны просто доступны четкой фотографией владельца либо видеозаписью с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные устройства могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Изменения внешнего вида: Резкое похудение/набор веса, пластические операции или травмы порой необходимы для обновления данных биометрии.
Условия фотографирования: Сильная освещённость солнцем или же интенсивная тень могут снизить точность определения признаков.

Вот несколько рекомендаций по защищённому применению:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не активируйте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку ПО телефона для обеспечения безопасности от актуальных атак;
Включайте опцию “Требовать раскрытых глаз” там, где она доступна.

В каких местах ещё применяется технология за исключением мобильных телефонов?

Хотя предмет данной работы посвящена именно мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

Мониторинг входа в рабочих помещениях и жилых домах;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Цифровые идентификационные документы последнего поколения;
Установки видеомониторинга городских подразделений;
Механизация регистрации явки школ/университетов;
Вход юзеров ПК/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Схожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется техпроцесс сегодня?

Каждый годочек проявляются новые идеи для улучшения качества работы систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше риск погрешности;
Развиваются нейросети — новейшие конструкции модели MobileNetV3 позволяют оперативно осваивать дополнительным чертам облика владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются методы антиспуфинга — теперь мобильные устройства умеют распознавать настоящие движущиеся лица от неподвижных фотографий/масок по мельчайшим микродвижениям.
Интеграция со интеллектуальными приборами — смарт-часы могут самостоятельно заблокировать смартфон, если владелец ушёл далеко.
Проявляются смешанные устройства — к примеру совмещающие аудио аутентификацию + лицо + отпечаток пальца.

Вот, которые тенденции в особенности популярны на сегодняшний день:

1) Уменьшение элементов

Производители пытаются минимизировать размер отверстия (“чёлки”) под сенсоры на экране за счёт встраивания маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для улучшения личной безопасности всё более расчётов осуществляется на месте без отправки данных во дополнительный облачный услугу.

3) Унификация стандартов

Гугл интенсивно продвигает эталон BiometricPrompt API, чтобы подобные системы, как admiral x, и любые Android-приложения были совместимы с всеми формами биометрии единообразно.

Какое выбрать сегодня?

Когда тебе важна предельная безопасность информации, подбирайте передовые устройства с интегрированным ИК-проектором или ToF-датчиком глубины.

iPhone всех актуальных поколений
Huawei Mate/P Series линейки
Xiaomi Pro
Vivo X серии
Oppo Найти Икс серии.

Если финансы ограничен – лучше предпочесть классическим способам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность комфорта.

Каким образом повысить комфорт функционирования опции?

Есть несколько советов для тех, кто уже применяет разблокировку через лицо:

Часто меняйте свою фото-шаблон, если сильно изменяется внешность.
Не упускайте из виду протирать линзу фронтальной камеры – пятна могут уменьшить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат как только вы поднимаете его.
Во время регистрации старайтесь сохранять голову прямо напротив видеоустройства не допуская сильного наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от дисплея.

Перспективы прогресса техники

В ближайшие периоды можно предвкушать развития полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + голос + манера ходьбы + жесты рук!

Также возможно возникновение современных способов охраны приватности – к примеру, переменное модификация диджитал образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень интересных технологий нашего эпохи! Она делает взаимодействие со смартфоном проще чем до этого, и такие аппы, как admiral-x, могут значительно улучшить ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта технология изнутри, – сможете вдумчиво выбирать свой очередной гаджет!