Каким образом работает распознавание лицевых образов в мобильных устройствах

Каким образом работает распознавание лицевых образов в мобильных устройствах

Каким образом работает распознавание лицевых образов в мобильных устройствах

Зачем мы выбираем разлочивание по фейсу

В недавние годы определение физиономий превратилось в одной из наиболее востребованных опций для открытия мобильных телефонов. Всего некоторые годов тому назад основная масса использующих довольствовались пин-кодами, паролями или сканерами отпечатков пальцев. Но с появлением подобных технологий, например Вулкан Платинум, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает эту особенность очень нужной? Во-первых, это практично: не нужно удерживать в памяти замысловатые пароли или находить правильный палец в темноте. Кроме того, это оперативно: современные алгоритмы идентифицируют лицо фактически за мгновение. В-третьем пункте, это ощущение футуристичности — будто в фильмах про вулкан платинум зеркало разведчиков.

Впрочем за данной на первый взгляд несложностью скрывается полный вселенная трудных технологий и инженерных решений. Давайте понять, как точно функционирует фейсканирование в новейших смартфонах, какие существуют способы, насколько они защищены и что нас ждёт впереди.

Короткая история развития техники

Идентификация лиц как техника присутствует уже более 50 лет. Начальные эксперименты автоматизированного анализа лица были сделаны еще в 1960-х годах в лабораториях США. Тогда вычислительные машины способны были лишь выделять очертания черепа и измерять расстояния между очами и устами на черно-белых фотографиях.

Начальные бизнес платформы стали доступны в девяностых годах, но они были несовершенны: действовали неспешно и часто давали сбои. Только с эволюцией нейронных сетей и таких систем, как Vulkan Platinum, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои решения.

Ключевые шаги работы системы идентификации

Процесс распознавания лица можно примерно сегментировать на несколько основных этапов:

  1. Идентификация лица — устройство определяет присутствие людского образа в кадре.
  2. Выделение характеристик — система исследует особенности физиономии: очертания зрительных органов, носа, губ, расположение надбровных дуг.
  3. Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе выделенных признаков.
  4. Сравнение со образцом — созданный шаблон сопоставляется со записанной при внесении биометрической информацией владельца.
  5. Принятие выбора — если совпадение достаточно существенное, смартфон открывается.

Всякий из данных этапов требует специальных процедур и оптимизаций для скорой работы прямо на устройстве.

Аппаратные компоненты: что скрыто внутри

Типичная фронтальная камера.

Простейший легкий способ идентификации лица применяет лишь переднюю камеру смартфона. Данный метод внедрён во различных недорогих версиях Android-девайсов.

Преимущества:

  • Не потребляет внешних сенсоров.
  • Оперативно функционирует при хорошем освещении.

Недостатки:

  • Несложно ввести в заблуждение снимком или видеозаписью.
  • Неправильно действует при слабом свете или нестандартных ракурсах.

ИК камера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким способом это работает:

  • Точечный проектор отображает на физиономию использующего невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
  • Инфракрасная камера записывает искривление данной решетки по плоскости физиономии.
  • Создаётся трехмерная глубинная карта глубинности, что почти что невозможна для имитации стандартной фотографией или маскировкой.

Преимущества

  • Надёжная деятельность даже в полной неосвещённости.
  • Сильная устойчивость к фальсификациям.
  • Точность распознавания свыше 99%.

Добавочные сенсоры

В отдельных девайсах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для формирования более точной 3D-модели физиономии.

Эти инновации используются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный ум в исполнении

Текущие устройства распознавания лиц неосуществимы без использования ИИ и машинного обучения. Именно вследствие таким разработкам, как Vulkan Platinum, устройство способно распознавать пользователя даже при трансформациях внешнего вида: новая укладка, щетина, очки или грим не становятся помехой для открытия.

Распознавание лиц

На начальном стадии алгоритм должна мгновенно распознать ликовое изображение в пределах полного изображения камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии находить лицо даже с частичном перекрытии (например, платком или рукой).

Идентификация ключевых моментов

После распознавания лица система, такая как Vulkan Platinum, устанавливает положение главных точек: уголки глаз, кончик носа, края губ и так далее. Часто используется от 68 до 128 главных точек на лицевой области.

Данное требуется для выравнивания картинки: если юзер находится с телефон под наклоненным, или наклонил головку, программа "выпрямляет" картинку до обычного угла для дальнейшего анализа.

Построение биометрического модели

Далее нейросеть строит уплотненное числовое представление ("эмбеддинг") лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой образец очень затруднительно сфальсифицировать: он не сохраняет само картинку юзера, а лишь особенные черты его вида, что делает его оптимальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и осуществление выбора

В случае, когда юзер желает разблокировать смартфон глазами, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ запрещается.

Приспособление к трансформациям облика

Занимательная характеристика современных системы — возможность самообучения. Если ты регулярно разблокируете телефон с обновленной стрижкой или оптикой, программа постепенно обновляет основной образец вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрических данных данных.

Большинство юзеры беспокоятся сохранять свои биометрические идентификационные данные на смартфоне из-за риска утечки информации или взлома устройства. Определенные фирмы, такие как Вулкан Казино Платинум, предлагают решения для увеличения защиты данных пользователей.

  • Локальное сбережение: Преимущественно аппаратов записывает биометрические шаблоны исключительно в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают гаджет и не доступны в том числе изготовителю.

  • Шифрование: Все данные сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

  • Изоляция приложений: Программы сторонних девелоперов не имеют непосредственного доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Стоит подчеркнуть важную деталь: в случае, если какой-то человек получит физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство производители реализуют защиту от "слепого" разблокирования — например, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды распознавания лиц на изображениях?

Сегодня можно различить 3 ключевых метода к реализации этой функции:

Программируемое двухмерное определение

Применяется только лицевая видеокамера без дополнительных датчиков глубины. Подобный подход наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная затраты; быстрая деятельность при хорошем свете.
Минусы: легко одурачить снимком; нестабильная работа ночью; низкая защищенность.

Техническое трёхмерное сканирование

Применяет инфракрасную видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Плюсы: высокая надёжность; невозможно подделать изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана ("чёлка")

Комбинированные подходы с ИИ-дополнением

Используют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам ("anti-spoofing"). Например, подобные изделия, например Vulkan Platinum и Google Pixel Face Unlock новейших версий, сочетают фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы эксплуатации разнообразных техник

  • iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
  • Xiaomi Mi8 Explorer Edition первый раз представил подобие Face ID в ряду Android.
  • Samsung Galaxy S10/S20 имеют как программное двухмерное идентификацию по изображению селфи-камерой, так и датчик ириса глаза.
  • Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности безопасности и ложные тревоги

Несмотря на впечатляющий прогресс техники за недавние годы, идеальных системы пока не имеется:

  1. Вероятность подвоха: Недорогие смартфоны легко открываются качественной фотографией владельца или роликом с дисплея иного гаджета.
  2. Идентичные близняшки: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
  3. Метаморфозы облика: Резкое снижение веса/набор веса, хирургические вмешательства либо повреждения в некоторых случаях необходимы для обновления данных биометрии.
  4. Условия фотографирования: Яркая освещённость солнечным светом или же интенсивная затенение могут снизить аккуратность определения признаков.

Вот некоторые рекомендаций для надёжному использованию:

  • Для значимых операций всегда применяйте дополнительную аутентификацию;
  • Не запускайте функцию "Разблокировка по лицу" на бюджетных устройствах без ИК-сенсоров;
  • Постоянно обновляйте прошивку ПО смартфона для предотвращения угроз от актуальных атак;
  • Включайте настройку "Требовать открытых глаз" в тех местах, где она есть.

В каких местах также находится применение технология помимо смартфонов?

Несмотря на то, что основная мысль этой статьи сосредоточена на в частности смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

  • Мониторинг входа в рабочих помещениях и жилых домах;
  • Платёжные аппараты банков ("Face Pay");
  • Цифровые идентификационные документы нового типа;
  • Комплексы видеонаблюдения городских подразделений;
  • Механизация отслеживания явки школ/институтов;
  • Аутентификация пользователей персональных компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по лицу ("Face Pay") — нужно лишь пройти через турникет без пластика или телефона! Похожие инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом трансформируется технический процесс в нынешнее время?

Каждый годик проявляются современные мысли для усовершенствования уровня функционирования систем лицевого распознавания:

  1. Увеличивается чёткость сенсоров — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше риск ошибки;
  2. Улучшаются искусственные интеллекты — передовые структуры типа MobileNetV3 дают возможность оперативно адаптироваться к дополнительным характеристикам внешности пользователя прямо на устройстве без пересылки информации в облачное хранилище.
  3. Улучшаются технологии антиспуфинга — теперь смартфоны способны отличать настоящие движущиеся лица от неподвижных фотографий/маскировок по незаметным микродвижениям.
  4. Взаимодействие со интеллектуальными приборами — умные часы могут автоматически закрыть доступ к смартфон, если обладатель отошёл далеко.
  5. Появляются комбинированные механизмы — в частности совмещающие голосовую аутентификацию + физиономию + пальцевой отпечаток.

Здесь, те тренды очень популярны на сегодняшний день:

1) Уменьшение элементов

Производители пытаются минимизировать габариты выреза ("чёлки") для датчики на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения конфиденциальности всё более вычислений осуществляется локально без отправки данных во сторонний облачный услугу.

3) Стандартизация норм

Google активно пропагандирует стандарт BiometricPrompt API, для того чтобы такие платформы, например как Вулкан Платинум, и каждые Android-аппы могли работать с всеми формами биометрии стандартизированно.

Какое выбрать на сегодня?

Когда тебе нужна предельная сохранность данных, выбирайте передовые модели со встроенным ИК-проектором либо ToF-датчиком глубины.

  • iPhone всех последних поколений
  • Huawei Mate/P Series серии
  • Mix Professional
  • Vivo X линейки
  • Oppo Обнаружить X серии.

Если средства невелик – лучше выбирать традиционным методам защиты (PIN-код/сканер пальца), а возможность "разблокировка по лицу", такую как в Вулкан Платинум, использовать только как опциональную возможность удобства.

Каким способом увеличить практичность функционирования функции?

Есть несколько хитростей для тех, кто уже пользуется разблокировку через лицо:

  1. Регулярно обновляйте свою фото-шаблон, если кардинально меняется внешность.
  2. Не забывайте очищать линзу фронтальной камеры – загрязнения могут понизить точность!
  3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует камеру если вы поднимаете его.
  4. В процессе регистрационного процесса постарайтесь удерживать лицевую часть неподвижно впереди объектива не допуская значительного наклона головы.
  5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от дисплея.

Возможности эволюции технологии

В предстоящие периоды можно ожидать возникновения полностью безконтактных способов опознания персоны сразу по нескольким биометрическим параметрам одновременно: облик + звучание + походка + жесты рук!

Также вероятно появление современных способов защиты приватности – скажем, изменяющееся изменение электронного образца после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных техник нашего времени! Она предоставляет общение со смартфоном комфортнее чем когда-либо прежде, и такие приложения, как Вулкан Казино Платинум, могут значительно повысить ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как устроена эта технология в деталях, – сумеете более осмысленно определять свой будущий устройство!