3D модель из 2D фотографий движущегося объекта

Когда Марк Дамке обнаружил, что облачный сервис 123D Catch, разработанный компанией Autodesk, не может справиться с его задачей и не может создать 3D модель движущегося объекта – его кошки, то решил разработать свое собственное решение для выполнения этой задач. Решение этой задачи он решил начать с экспериментов, и в результате получил технологическую инновацию. Это довольно интересный вариант, и сделать такое может практически каждый. В этой статье мы расскажем, что же создал Марк и как он решил поставленную перед ним задачу.

Кошки есть буквально везде – живут в домах людей, прогуливаются по садам и скверам, а в интернете их еще больше. У кошек репутация довольно тщеславных существ, и именно любовь Марка к фотографии послужила началом этой истории, хотя его кошка Соля выглядит довольно счастливой в своем 3D-обличье, но об этом мы расскажем чуть позже.

Помимо экспериментов с приложением для Ipad 123D Catch, Марк начал думать о том, как получить изображение постоянно двигающегося животного в 3D формате. В середине 2012 года он решил провести эксперимент с тремя камерами - двумя цифровыми зеркальными и мыльницей Hewlett Packard. Чтобы одновременно привести в действие все камеры, он использовал дистанционный пульт, но HP пришлось запускать вручную. Марк также обнаружил,  что в условиях прямого естественного освещения нужна более высокая точность действий, для чего требуется вспышка с очень короткой выдержкой, что позволит улучшить глубину резкости.

После этих экспериментов он на некоторое время отложил проект, но уже в середине 2013 года решил попробовать еще раз, и получил впечатляющие результаты. Стоит отметить, что камеры можно арендовать, а не вкладывать такие большие суммы; такие траты будут оправданы только для состоятельных людей, фотографов и компаний, которые работают в сфере фотографии. 

В этот раз Марк использовал камеры Canon PowerShot с Canon Hack Development Kit - дополнением к прошивке камер Canon Powershot / Digital IXUS, которое предоставляет фотоаппарату широкий набор функций. CHDK работает с рядом камер Canon, это нечто сродни SDK - комплекту средств разработки, который позволяет специалистам по программному обеспечению создавать приложения для определённого пакета программ, программного обеспечения базовых средств разработки, аппаратной платформы, компьютерной системы, игровых консолей, операционных систем и прочих.  Таким образом, пользователь камеры получает дополнительные возможности сверх того, что в настоящее время предоставляется на ПО его камеры. Если не сильно вдаваться в технические детали этого конкретного аспекта проекта, среди особенностей Canon CHDK следует отметить следующее:

Обнаружение движения (motion detection) - позволяет настроить реакцию на движение, достаточно быструю чтобы поймать молнию.

• USB Remote - удалённое управление фотоаппаратом с компьютера.
• "Режим зебры" (англ. Zebra-Mode) - в процессе автофокусировки фотоаппарата области, которые получатся на снимке пере- и недоэкспонированными, отмечаются определённым цветом на жидкокристаллическом экране.
• Перезапись параметров камеры - выдержка от 1/40.000 до 64 секунды. Полностью ручной контроль экспозиции, ISO и фокуса.

Марк использовал Stereo Data Maker, поскольку это ПО дает возможность очень точной синхронизации нескольких камер, а в этом конкретном случае это одно из главных требований. Первые опыты для подтверждения правильности своих догадок Марк начал с тремя камерами, и постепенно, по мере того, как его уверенность в правильности его решения для создания 3D изображения движущегося объекта росла, количество камер увеличилось до шести.

Марк провел несколько тестов на статичных объектах, чтобы определить минимальное количество снимков, которое потребуется  программному обеспечению для создания качественной модели. Затем, используя поливинилхлоридную трубу, он сделал основу для закрепления камер, добавил вспышек и начал экспериментировать с освещением и фотографической выдержкой. Вся эта работа была проделана, чтобы иметь возможность захватить все изображения с точностью не менее 1/125 секунды, то есть чтобы «заморозить движение». Вспышка срабатывает в 1/1000 секунды и камера должна сделать снимок через плюс-минус 1/1000 секунды после вспышки. Конечно, можно использовать другие камеры и программное обеспечение.

Затем 24 изображения с камер импортируются в Agisoft PhotoScan для создания 3D сетки и структуры поверхности. Марк говорит, что после долгих экспериментов он обнаружил, что PhotoScan дает гораздо более точные модели, чем 123D Catch. В этом есть смысл, поскольку 123D Catch было изначально разработано как программное обеспечение начального уровня, которое дает возможность буквально любому пользователю взять несколько 2D снимков со смартфона и на их основе создать 3D модель. Кроме того, PhotoScan дает возможность диафрагмирования, что значительно улучшает точность 3D модели. На видео ниже представлен процесс создания 3D моделей с помощью Agisoft PhotoScan:

Далее Марк использовал 3D CAD – бесплатное ПО для ручного редактирования и доработки. Это не самая простая программа, но можно выбрать из целого ряда других, например, есть программа под названием Meshmixer. Он использовал инструменты для сглаживания поверхностей и исправления проблемных областей, с которыми не мог справиться PhotoScan – например, обработки ушных раковин.  Он обрезал модель и создал модель, готовую для 3D печати.

Затем Марк экспортировал окончательную модель в виде X3D файла, наряду с JPEG для цвета поверхности и текстурирования, после чего загрузил файлы в онлайн-сервис 3D-печати. На сегодняшний день, если у вас нет дома 3D принтера, то есть целый ряд непрофессиональных сервисов для 3D-печати, например, UPS в США и Asda в Великобритании.

Сегодня мы видим широкий спектр интерполированных решений, к возникновению которых приводит развитие 3D печати, особенно развитие тренда 3D селфи – начиная от огромной корпорации 3D Systems в сотрудничестве с Predator movie merchandise и до лондонского 3D интернет-сервиса iMakr’s, который не так давно представил мини-магазин Selfridges, услугами которого заинтересовались даже политики, которые хотят использовать 3D селфи как последнюю рекламную тенденцию. Решение, придуманное Марком, демократизирует и упрощает весь процесс, передавая все возможности в руки фотографов и умельцев, давая возможности простым пользователям, пользуясь камерой, создать уникальный подарок на любой праздник или принять участие в социальной деятельности.

На все это, конечно, потребуется время; время – это ресурс, который необходимо будет инвестировать в настройку системы. Также, чтобы достичь поставленной цели, потребуется нацеленность на результат, но в итоге вы сможете напечатать объект любого размера, из любого доступного материала – будь-то дерево, бронза, и биоразлагаемые пластмассы или полимеры, меняющие свой цвет. Если только прикладывать усилия, то пределов нет.  Созданная Марком 3D-модель – это прекрасный клон его милой кошки. Посмотрите и удостоверьтесь сами.