20.09.2020

Прототип интерфейса для переноса изображений из реального мира в графический редактор


Сириль Диань (Cyril Diagne), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, опубликовал прототип приложения ar-cutpaste, использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.

Код серверной части написан на языке Python, а мобильного приложения для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона применяется библиотека машинного обучения BASNet, использующая PyTorch и torchvision. Для определения точки на экране на которую была нацелена камера телефона при вставке объекта используется пакет OpenCV (класс SIFT). Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который в настоящее время поддерживает только протокол удалённого управления Photoshop (поддержку других графических редакторов обещают добавить в будущем).

Источник: https://www.opennet.ru/opennews/art.shtml?num=52875

Добавить комментарий