BLOG-ANDREI…
Чуть более года назад я уже рассматривал нейросеть PIFuHD для генерации 3D-модели на основе изображений. Все было довольно сыро, да и создавать получалось только людей. Сегодня же наткнулся на новые нейросетки, которые могут генерировать модели лучше. Рассмотрим их.
TRELLIS от huggingface и Rodin от Hyper3D
TRELLIS позволяет создавать модельки из изображений и в отличии от PIFuHD всего в пару кликов. Интерфейс интуитивно понятен.
Модель скачивается в формате .GLB, что удобно, т.к. текстура уже будет запакована внутри.
Модель скачивается в формате .GLB, что удобно, т.к. текстура уже будет запакована внутри.
Для генерации изображений можно воспользоваться 3D Style Image Generator от того же huggingface.
Общие рекомендации по изображениям: лучше использовать картинки максимально большого размера на белом фоне, желательно, чтобы на изображении была нарисована только ваша модель без лишних деталей
Интереса ради я засунул в генератор моделей базовое изображение, которое выдавал 3D Style Image Generator
Раскрыть
Прогресс на лицо, да и генерация нечеловеческих моделей радует. Ретопология, конечно, просто месиво, зато неплохо натягивает текстуры на модельку. Это уже можно использовать не только как болванку для дальнейшего допиливания (что строго рекомендуется), но и как есть в рендерах или даже в играх в качестве неподвижных декораций.
Rodin уже имеет чуть менее интуитивный интерфейс (но все еще достаточно простой), но зато позволяет генерировать модели с более чистой ретопологией (использует Quad Remesh) и с PBR текстурами.
Примеры моделей
Хотелось проверить, а на что способны данные нейронки в плане создания моделей, совсем отличных от людей. В качестве базы будет использоваться изображение вот этого миленького крабика:
Результат меня порадовал, хоть с мелкими деталями и беда пока что.
Думаю, пришла пора заняться дичью и замоделить вот эту вот ящерку:
Думаю, пришла пора заняться дичью и замоделить вот эту вот ящерку:
Есть только парочка проблем:персонаж изображен не во весь рост, фон отличается от белого.
Решать эти проблемы мы будем при помощи еще пары нейросеток.
Для дорисовывания изображения использовалось Problembo после чего наше изображение выглядело так:
Решать эти проблемы мы будем при помощи еще пары нейросеток.
Для дорисовывания изображения использовалось Problembo после чего наше изображение выглядело так:
Затем была использована нейровка Pixelcut (модуль удаления фона). На выходе получили вот это:
Теперь изображение можно скормить генераторам моделей.
С лицами пока что все еще сыро, но в целом это уже неплохо.
Пользуйтесь и наслаждайтесь.
Пользуйтесь и наслаждайтесь.
Но интереса ради сейчас попробовал сделать орка и насадить на него анимации через mixamo:
-
Rumba_orc.zip
-
sample.mp4
Полный списокХз насчёт задников, там по идее лоды нужны...
Ред. Алексей Андреич
-
0001.png
Полный списокЭкономия вершин так же игнорируется