Стартап в області штучного інтелекту зробив технологію захоплення руху тривимірних об'єктів доступною для всіх
Щоб анімовані персонажі могли викликати інтерес глядача, вони, в першу чергу, повинні рухатися. Однак процес «оживлення» віртуальних персонажів ніколи не був простим завданням.
Технологія захоплення руху (Motion Capture) записує і відтворює в цифровому вигляді руху людини для створення тривимірної анімації. Згадайте роботу Енді Серкіс (Andy Serkis), перевтілився в Голлума в багатосерійному фільмі «Володар кілець».
Проблема полягає в тому, що традиційна технологія захоплення руху заснована на використанні дорогого і громіздкого обладнання, а також вимагає залучення досвідчених професіоналів для управління багатокамерними установками, використання студійного простору і спеціальних костюмів з датчиками, які надягають актори.
«Що витрачається час, сили і витрати занадто високі», - пояснив Геван Грейвс (Gavan Gravesen) співзасновник і генеральний директор RADiCAL . Нью-Йоркська компанія, учасник програми NVIDIA Inception для стартапів, слідуючи своїй назві, порушує усталені традиції. «Ми робимо наголос на тому, щоб забезпечити універсальність, плавну інтеграцію і високу швидкість роботи - і все це при низьких витратах», - заявив директор RADiCAL.
Рішення, розроблене компанією, працює на базі GPU NVIDIA. Щоб його використовувати, розробникам ігор, художникам 3D графіки, кинопроизводителям і творцям проектів віртуальної або доповненої реальності потрібно тільки одна фізична пристрій - 2D камера. Підійде навіть камера на телефоні. Немає необхідності в іншому обладнанні або складних датчиках, що значно знижує витрати і трудовитрати.
Швидкий захоплення руху
Користувачі з будь-якої точки світу можуть завантажувати свої відео, зняті на смартфон або веб-камеру, безпосередньо в хмару RADiCAL. Компанія обробляє ці відео за допомогою штучного інтелекту і науки про рухах, щоб визначити, що відбувається на екрані, перенести людські руху в тривимірний простір і навіть відтворити те, що камера не може бачити.
Алгоритм автоматично підлаштовується під різні пропорції і рухи тіла і створює модель, руху якої повторюють поведінку об'єкта на відео в 3D. За рахунок плавності руху моделі цей процес здається простим, проте це не так.
«Ми інтегрували в наш продукт технології глибокого навчання, робототехніки, комп'ютерного зору і біомеханіки, а це вимагає потужної середовища для розробки ІІ», - розповіла Анна-Кьяра Белліні (Anna-Chiara Bellini), співзасновник і технічний директор RADiCAL. Обчислення на GPU NVIDIA грають важливу роль в роботі цього рішення.
Швидкі ітерації з TensorFlow і CUDA
За словами Белліні, першою проблемою, з якою зіткнулися в RADiCAL під час розробки штучного інтелекту, став величезний обсяг даних, який необхідно обробити. У процесі створення алгоритмів обробка одного нерухомого зображення вимагала аналізу до 6 ГБ даних. Однак кожна секунда записи руху містить 120 кадрів, трансформуючись в приголомшливі 720 ГБ даних.
Для інтеграції програмування на GPU в свої дослідження, Белліні і її команда зупинили свій вибір на TensorFlow, що дозволило їм отримати «єдину модель виконання» всього робочого процесу. «Завдяки використанню спеціалізованих ядер, написаних на CUDA, в комбінації з TensorFlow, ми зрозуміли, що просте ядро, написане за пару годин, може заощадити нам багато днів на моделюванні», - розповіла вона.
Для підтримки своїх моделей руху RADiCAL черзі обробляє кадри на мульти-GPU системах. «Це стало можливо завдяки таким технологіям, як, наприклад, NVIDIA NVLink нового покоління з підтримкою декількох GPU Tesla V100», - пояснила Белліні.
Використовуючи обчислювальні мульти-GPU системи в хмарі, Белліні і її команда скоротили в 10 разів цикл розробки свого проекту, починаючи від створення ідеї і закінчуючи розробкою і виробництвом.
«За допомогою GPU NVIDIA ми отримали можливість працювати швидше, досліджувати більше можливостей і використовувати час наших інженерів машинного навчання більш ефективно, - поділилася Белліні. - Це стало справжнім відкриттям ».
Готові до використання файли анімації
Після обробки відео RADiCAL дозволяє в реальному часі переглянути і порівняти отримані 3D моделі і вихідні відеоматеріали на своєму веб-сайті або в додатку MOTiON.
Користувачі також можуть завантажити анімаційні файли в форматі, який дозволить використовувати їх для роботи з тривимірною графікою, якому вони розроблені й віртуальною реальністю, створення ігрових движків і в інших програмах.
Нещодавно RADiCAL запустив програму бета-тестування для всіх бажаючих випробувати продукт в творчих індустріях. У найближчі тижні стартап готується до комерційного релізу.
Компанія RADiCAL - один із 2800 стартапів з усього світу, які беруть участь в програмі NVIDIA Inception. В рамках цієї програми NVIDIA допомагає прискорити розвиток стартапів, надаючи доступ до своїх технологій і знань і надаючи маркетингову підтримку.
