Тема
PIFuHD - нейросеть для создания 3D-моделей из 2D-изображений.
Ссылка на страницу PIFuHD

Видео по настройке и запуску


Моя попытка

Что можно сказать по итогу. Все еще довольно сыро, но даже сейчас нейронка выдает "слепок" который в дальнейшем можно использовать как базу для скульпта/редактирования.
PIFuHD работает пока что только с фото людей и лучше, чтобы фон фото был однородным и на нем присутствовал только один человек.
Мои попытки сгенерировать орка (вроде тоже гусаноид, а все равно не то) и дракона не увенчались успехом: на выходе получаем кучку полигонов.
Советы для получения лучшего результата:
  • Используйте изображение с высоким разрешением. Модель обучается на изображениях 1024x1024. Используйте разрешение не менее 512 x 512 с высокой детализацией. Изображения с низким разрешением и артефакты JPEG могут привести к неудовлетворительным результатам.
  • Используйте изображение с одним человеком. Если на изображении несколько человек, качество реконструкции, скорее всего, ухудшится.
  • Лучше всего подходят фотографии в видом анфас.
  • Все тело должно умещаться на изображении. (Примечание: теперь недостающие ноги частично поддерживаются)
  • Убедитесь, что входное изображение имеет хорошо освещение. Чрезвычайно темное или яркое изображение и сильные тени часто создают артефакты.
  • Рекомендуется выставлять параллельный угол камеры к земле. Большая высота камеры может привести к искажению ног или высоким каблукам.
  • Если фон загроможден, используйте менее сложный фон или попробуйте удалить его с помощью www.remove.bg перед обработкой.
  • Нейросеть тренируется только с человеком. Аниме-персонажи могут работать не очень хорошо (к удивлению автора, действительно многие пробовали)
`
ОЖИДАНИЕ РЕКЛАМЫ...
25
  1. Попросить chatgpt придумать внешность персонажа.
  2. Попросить Midjourney нарисовать референс по описанию внешности.
  3. Попросить PifullHD сделать модель по референсу
главное, чтобы они конфеты за нас не ели
Загруженные файлы
31
Там дальше еще предлагают сделать авториг и анимации через миксамо...
15
С одной стороны прикольно, можно бюудет из рисунков болванки для зебры делать, но чёт мне кажется, что пока лапками быстрее будет
31
но чёт мне кажется, что пока лапками быстрее будет
Пока что таки да.
А еще есть программы, типа такой, ориентированные на быстрое создание базового меша...
Но в перспективе, сеть научиться более точно деалать модельки, и делать модельки не только людей.
29
Ну что, скоро нейросети за меня игру смогут сделать... (Шутка).
31
Agren, вроде как нейросети уже делали простые игры...
загугли, уверен, что-нибудь да найдешь...
29
Agren, вроде как нейросети уже делали простые игры...
загугли, уверен, что-нибудь да найдешь...
Ага, попробую.
Чтобы оставить комментарий, пожалуйста, войдите на сайт.