Новый iPhone X фронтальная камера глубина и face tracking mesh API

Только что посмотрел анонс нового iPhone X, является ли технология обнаружения и отслеживания фронтальной камеры открытой для разработчиков? На сцене была продемонстрирована маска Snapchat, не уверенная, что она использует ARKit

2 4
ios iphone iphone-x

2 ответа:

Да, он открыт для разработчиков.

Если вы посмотрите на страницу ARKit docs сейчас, вы увидите, что она разделена на разделы World Tracking и Face Tracking (плюс некоторые биты, общие для обоих). World Tracking-это то, что было объявлено еще на WWDC-просмотр" через " ваше устройство с задней камерой на AR-контент в окружающем вас мире.

Face Tracking AR специфичен для iPhone X и камеры TrueDepth. Как вы можете видеть в этих документах, он использует ARFaceTrackingConfiguration вместо того, чтобы другие классы конфигурации. И это дает вам информацию о лице в режиме реального времени через ARFaceAnchor объекты.

В документах привязки лица, похоже, есть два способа получить информацию о лице. Тот самый geometry дает вам 3D-сетку, которую вы можете отобразить или использовать для отображения текстур на лице - это, по-видимому, то, что демо Snapchat использовало для создания борцовских масок в демо keynote. Тот самый blendShapes дать вам кучу параметров анимации, например, как далеко челюсть открыта и как косоглазым является левый глаз (и около 50 других, более тонких вещей)... они говорят об использовании этого для оживления кукол или аватаров, так что, вероятно, именно так работает Animoji.

Apple также опубликовалапример проекта кода, показывающий, как сделать все это , поэтому вы можете посмотреть на код, чтобы получить представление о том, как это сделать самостоятельно. (Даже если вы не можете запустить код без iPhone X.)

8

Вот пример использования камеры TrueDepth на iPhone X: https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences

И совершенно новая сессия: отслеживание лица с помощью ARKit #601

Создание опыта AR на основе лица

Размещайте и анимируйте 3D-контент, который следует за лицом пользователя и соответствует выражению лица, используя камеру TrueDepth на iPhone X.

Этот пример приложения представляет собой простой интерфейс возможность выбора между четырьмя визуализациями дополненной реальности (AR) на устройствах с фронтальной камерой TrueDepth (см. справку по совместимости устройств iOS).

  • вид камеры в одиночку, без какого-либо AR-контента.
  • лицевая сетка, предоставленная ARKit, с автоматической оценкой реальной среды направленного освещения.
  • виртуальный 3D-контент, который, по-видимому, прикрепляется к реальному лицу пользователя (и затемняется его частями).
  • A простой робот-персонаж, чье выражение лица анимировано, чтобы соответствовать пользователю.

==> проверьте раздел под названием " поместите 3D-контент на лицо пользователя" для вашего второго варианта использования.

Введите описание изображения здесь

0