🤖 Нейросеть сделала 3D‑модель по фото. Почему принтер с ней совсем не согласен
AI/ML-инженер и CTO стартапа, который занимается AI-технологиями в области 3D-печати, Артём Кузнецов разобрал, почему 3D-модели, сгенерированные нейросетью по фотографии, оказываются проблемными при подготовке к печати. Сценарий знакомый: пользователь загружает снимок фигурки, через несколько минут получает аккуратную 3D-модель — вплоть до надписи на груди — скачивает файл и открывает слайсер.
Первый же дефект проявляется на этом этапе: слайсер интересуется, не в метрах ли сделана модель, хотя в файле она размером с маковое зерно. Это, по словам автора, самый безобидный случай. Почти у каждой второй модели слайсер показывает значок предупреждения, а о некоторых дефектах он прямо не сообщает: на превью всё выглядит идеально, тогда как в файле ступни робота висят в воздухе отдельно от ног.
Чтобы не делать выводы по одному случайному примеру, был собран небольшой тестовый набор. Каждая картинка в нём проверяет одну известную слабость генераторов, поэтому по результату сразу видно, на чём сломалась модель. Картинки нарисовала нейросеть FLUX.1 [schnell] по коротким описаниям — так проще получить чистый фон, ровный свет и ровно ту особенность, которую нужно проверить. Среди проверяемых слабостей: наплечники, отделённые от корпуса, тонкая антенна и раскрытая клешня, которые генератор может оставить отдельными кусками, потерять или склеить; ручка, которая должна остаться сквозной, а не превратиться во вмятину, с мусором в пустоте; тонкие элементы, проваливающиеся сквозь сетку или слипающиеся с соседними; тонкие стенки и острые кончики, выходящие тоньше линии сопла или пропадающие.
Генераторов взяли пять, и форму все они строят по-разному; всех вызывали через API. TripoSR (Stability AI и Tripo, 2024) — открытая модель: поле на трёх плоскостях (triplane), поверхность строит marching cubes. TRELLIS (Microsoft) — открытая модель: скрытое представление на разреженной воксельной сетке, поверхность строит FlexiCubes. TRELLIS.2 (Microsoft) — его свежая версия с другим представлением формы, без поля. SAM 3D Objects (Meta) — открытая модель, которая восстанавливает отдельные объекты сцены по одной картинке. Hunyuan3D 3.1 (Tencent) — закрытый сервис, устройство которого не раскрыто. Пользователям ИИ, встраивающим генерацию 3D в свой софт, стоит учитывать: дефекты возникают на уровне сетки, а тестовый набор из картинок FLUX.1 [schnell] — это лёгкий режим, поскольку на снимке с телефона добавятся фон, тени и перспектива.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра