LLM изображения не обеспечивают истинного фона RGB 255/255/255, независимо от того, что говорится в запросе. Шаблон White Studio от Apiway — через четырехступенчатый конвейер постобработки, который проходит после того, как LLM закончил свою работу. Вот технический прорыв, включая режимы отказа, с которыми мы столкнулись при его создании.
Почему LLM не может сделать это в одиночку
Диффузионные модели воспроизводят статистические модели из данных обучения. Реальные фоны продукта в данных фотографической подготовки почти никогда не бывают буквально белыми — стены циклорамы отражаются на уровне ~ 95% альбедо, бесшовная бумага поднимает градиенты, шум датчика поднимает пиксель пола на несколько цифровых значений. Модель узнала, что «белый фон» означает слегка текстурированный небелый. (Подробнее: Почему ваш запрос на чисто белый цвет все еще дает серый.)
Просить модель доставить настоящий #FFFFFF — это борьба с распространением обучения. Правильный шаг — позволить модели создавать лучшее изображение, а затем детерминировать цвет фона в пост-пропускном режиме.
Этап 1: сегментация субъекта с сохранением тени
Определите передний план (модель + одежда) как одну маску, отлитую тень под ногами как отдельную мягкую маску, а фон как остальные. Три слоя, а не два.
Тень маски - это слой, который пропускает большинство трубопроводов. Без него рекомпозит падает на пол, и модель выглядит так, как будто она плавает, что хуже, чем слегка серый фон, потому что покупатели регистрируют плавающий момент. При этом модель остается заземленной.
Мы используем специально обученную модель сегментации, которая специально обрабатывает краёвые чехлы для фэшн-фотографии: волосы на фоне, края драпированной ткани, аксессуары, такие как ремни и сумки, силуэт которых нетривиален.
Стадия 2: рекомпозит на буквальный #FFFFFF
Создайте новое полотно в соотношении целевых аспектов (1:1, 4:5, 9:16 и т.д.), заполненное буквальным RGB 255/255/255. Поместите на первый план предметную маску сверху. Поместите мягкую теневую маску на белое полотно при уменьшенной непрозрачности (обычно 15-35% в зависимости от исходного изображения).
На этом этапе пиксель угла действительно #FFFFFF. Вопрос соблюдения политики Amazon решен.
Стадия 3: альфа-матирование по краям
Края жесткого выреза выглядят безошибочно композитными. Особенно волосы — чистый полигон сквозь волосы мгновенно читается как подделка. Трубопровод проходит изученный альфа-маттинговый проход, который смягчает края, позволяет тонким волосам застревать на белом фоне и сохраняет текстуру края ткани.
Это этап, который занял больше всего времени, чтобы получить право. Ранние версии либо переперистые (кровоизлияние волос на задний план), либо подперистые (жесткие полигоновые края). Производственная версия проходит линию, отбирая оригинальную мягкость края от вывода LLM и сопоставляя его на новом холсте.
Стадия 4: коррекция тона на переднем плане
Как только передний план находится на свежем холсте #FFFFFF, оригинальное освещение, генерируемое LLM, может немного отклоняться от нового фона. Модель была освещена для небелого оригинала; белое полотно ярче, а контраст может читаться резко.
Небольшой глобальный проход для коррекции тона перебалансирует передний план, чтобы выглядеть так, как будто он всегда был снят на этом фоне. Тонкий — обычно 2-5-процентная корректировка яркости передней части, плюс крошечный сдвиг баланса белого, если оригинал был освещен тепло.
Режимы неудач, которые мы наносим на его создание
- Плавающие моделиРанние версии сбрасывали маску тени. Исправлен путем отслеживания отбрасываемой тени в виде отдельного слоя через трубопровод.
- Halo edgesтонкое нецветное кольцо на переднем плане, когда сегментация захватила однопиксельную границу исходного фона. Закрепляется путем сжатия маски переднего плана на 1–2 пикселя и с помощью альфа-матирования на границе.
- Фрагментация волос: тонкие волосяные пряди, которые нарезаются на многоугольный силуэт. Закрепляется альфа-маттинговым проходом на стадии 3.
- Привязка: ремни, ремни для сумок, ювелирные цепи, которые неправильно классифицируются как фон. Закрепляется обучением модели сегментации на данных, специфичных для моды, с маркировкой этих классов.
Производительность и форма затрат
Сквозной трубопровод работает примерно за 1,5-3 секунды на изображение на производственной инфраструктуре графического процессора. Стоимость поглощается в расчетную кредитную цену; пользователь не видит трубопровод как отдельную статью. (Подводя итог: Один кредит равен одному центу.)
Почему это реальный продукт
Большинство инструментов искусственного интеллекта либо пропускают конвейер (и отправляют слегка серый вывод, который не соответствует правилу Amazon), либо загружают пользователю работу с белым фоном (ручный пропуск Photoshop на изображение). Apiway делает его по умолчанию для White Studio. Результат соответствует политике в тот момент, когда он покидает шаблон.
Проверьте угловой пиксель самостоятельно
Создайте одно изображение в White Studio. Проанализируйте угловой пиксель в любом редакторе изображений. Проверить, что это RGB 255/255/255. Бесплатные счета с 150 одноразовыми кредитами — достаточно для проверки и стресс-тестирования на реальных швейных файлах.