AR приложения в ритейле: как использовать дополненную реальность для продаж

В июле 2016 года жители Нью-Йорка с удивлением увидели толпы людей, которые бежали по улицам города со смартфонами в руках и выкрикивали имена Покемонов. Так в нашу жизнь ворвалось приложение Pokemon Go, а дополненная реальность, AR, стала мейнстримом следующих лет.

Почему AR востребована в ритейле и Ecommerce? — Пользователям нравится покупать онлайн, но некоторые предметы и гаджеты трудно оценить удалённо. Тут на помощь приходит дополненная реальность: юзеры покупают онлайн или в приложениях, заходят в виртуальные примерочные, пробуют вещи и оформляют заказ, не выходя из дома.

В пользе AR для бизнеса уже убедились многие ритейлеры. В 2014 году компания L’Oreal выпустила приложение Makeup Genius. Пользователи в приложении дополненной реальности могут “примерить” разные оттенки косметики перед покупкой. За 2 года приложение Makeup Genius скачали 20 миллионов пользователей! Другой пример: китайский ритейлер Yihaodian открыл более 1000 виртуальных магазинов, которые доступны только через AR приложение. Результат впечатляет: Yihaodian установил рекорд Гиннесса, продав 2 миллиона упаковок молока за 51 минуту.

Хотите повторить успех L’Oreal? Пора делать приложение с AR и обгонять конкурентов в диджитал-пространстве, пока они не увели ваших покупателей. Такое разумное решение принял наш клиент из США, Leef Company, и попросил нас разработать виртуальную примерочную часов. Рассказываем, что получилось.

Как работает виртуальная примерочная

Пользователь устанавливает AR приложение Leef на своём смартфоне. Заходит в приложение и выбирает из каталога часы, которые ему понравились. Наводит смартфон на руку и в режиме реального времени “примеряет” часы.

В чём польза виртуальной примерочной Leef для пользователя:

• примеряет часы в любое время и в любом месте
• видит, как выглядят часы именно на его руке
• может быстро сравнить несколько моделей часов

В чём польза для ритейлера:

• показывает покупателям всю линейку товаров
• анонсирует новинки, которых ещё нет в наличии
• создаёт эффект присутствия рядом с покупателями
• экономит на открытии физических точек продаж

Как мы выбрали подход

Для создания виртуальной примерочной мы остановились на безмаркерной технологии AR. В отличие от маркерной, которой нужны специальные визуальные метки, здесь маркерами становятся сами объекты реального мира. В нашем случае — руки.

Сформулировали задачу: натренировать свёрточные нейросети так, чтобы виртуальные часы отображались на руке и реалистично двигались вместе с ней. Начали с прототипа приложения на Python, чтобы проверить работу нейросетей. Затем приступили последовательно к iOS и Android версиям.

Как обучали свёрточные нейросети

Мы создали тренировочный датасет: на руках добровольцев из числа наших коллег нарисовали маркером крестик — он определял центр запястья, совпадающий с циферблатом часов. Сфотографировали руку в разных положениях, на зелёном фоне.

Чтобы повысить точность алгоритма, мы подобрали разные фоны для фото руки. Так число изображений выросло до 60 тысяч. Затем написали вспомогательный алгоритм, который ищет и удаляет крестик в приложении.

Натренировали три свёрточные нейросети.

• Первую нейросеть обучили находить на руке точку расположения часов и давать её координаты в пикселях.
• Вторая нейросеть принимала на входе изображение руки и определяла размер запястья в пикселях.
• Третья нейросеть изучала смещённое и масштабированное изображение запястья и обозначала его положение в пространстве.

Как делали мобильные приложения AR

На следующем этапе мы импортировали 3D модель часов в AR приложение для iOS с помощью фреймворка SceneKit. перед нами встал вопрос: как реалистично накладывать часы на руку? Ведь при движении всегда остаётся участок ремешка, который скрыт запястьем. Нашли нестандартное решение: нарисовали виртуальную прозрачную руку, которая затирает невидимую часть ремешка.

Когда работали над мобильным приложением для Android, пришлось обучить новую модель нейросети. Исходная не работала на системе Android: когда положение руки менялось, модель медленно реагировала и AR становилась обычным слайд-шоу.

Новую модель мы быстро натренировали определять размер запястья и ориентацию руки. Скорость работы приложения выросла. Для отрисовки часов на Android использовали библиотеку Rajawali.

Что получили в результате

Мы сделали прототип AR приложения под iOS и Android. Пока в нём можно примерить только одну модель часов, но в перспективе можно будет выбрать любые из каталога.

Как AR приложение помогает клиенту

Наш клиент Leef Company предлагает прототип AR приложения другим брендам и некоторые ритейлеры уже заинтересовались продуктом. Результат впечатлил заказчика и недавно он обратился к нам с новой задачей: создать прототип AR приложения для примерки обуви.

Как использовать дополненную реальность для продаж

Если вы ритейлер или E-commerce, то, запустив AR приложение, вы:

• открываете новый канал продаж
• помогаете пользователям рассмотреть товар удалённо, в разных ракурсах и цветах
• позволяете повращать и примерить товар как в реальной жизни
• показываете покупателю всю линейку товаров
• продаёте новинки ещё до их официального появления в магазинах
• экономите на открытии физических точек продаж

Всё это помогает вам завоевать новую аудиторию и обойти конкурентов. А продажи закономерно растут. Попробуйте, пока это не сделали другие.