Консистентность ИИ-персонажа: как платформы сохраняют одно и то же лицо

Введи одно и то же описание в обычный генератор картинок дважды — и получишь двух разных женщин. Брюнетка, двадцать пять лет, спортивная, зелёные глаза, стоит на пляже. Запусти ещё раз — всё по-прежнему соответствует словам, но лицо не совпадает с первым. Оба результата правильные. Просто это не одна и та же женщина.

В этом разрыве и кроется самая трудная задача генерации картинок для компаньонов. Сделать фотореалистичное изображение — задача почти решённая. Сделать одного и того же человека дважды — вот где начинается работа, и именно этим генератор фото отличается от компаньонки.

Описанием лицо не задашь

Два пляжных фото не совпадают, потому что язык теряет информацию о лицах так, как не теряет почти ни о чём другом.

«Брюнетка, двадцать пять лет, спортивная, зелёные глаза» сужает поле до категории, в которой практически бесконечное количество разных людей. Добавь ещё пятьдесят слов — и это всё равно будет категория. Это свойство описания, а не ошибка генератора. Художники, рисующие фотороботы, часами сидят со свидетелем, который видел лицо своими глазами, и всё равно выходят на тип, а не на человека.

Поэтому система, которая опирается только на слова, удержать внешность не может. Каждая генерация заново разыгрывает человека внутри категории, которую описывают слова.

Зафиксировать лицо легко, но бесполезно

Модели изображений начинают со случайного шума и шаг за шагом очищают его до картинки. Случайность берётся из сида. Зафиксируй сид — и один и тот же промпт каждый раз даст одну и ту же картинку, вплоть до пикселя.

Но теперь у тебя другая проблема. Сид держит не только её лицо. Он держит позу, кадр, свет, композицию, то, как лежат её волосы. Ты создал не компаньонку, которую можно фотографировать. Ты создал одну фотографию, которую можно печатать снова и снова.

Поменяй одно слово, чтобы она стояла на балконе, а не на пляже, — и путь очистки от шума разойдётся. Лицо развалится вместе с фоном, потому что сид никогда не хранил человека. Он хранил стартовую точку, из которой случайно получился этот человек.

Зафиксируй всё — и получишь одну картинку навсегда. Не фиксируй ничего — и каждый раз будет незнакомка. Продукту с компаньонами нужно удерживать ровно одно — её — и отпускать всё остальное.

Три способа, которыми это делают

Ничто из этого не утверждение о том, как устроена какая-то конкретная платформа. Это существующие подходы, и, зная их, ты понимаешь, на что смотреть в результате.

Опора на референс. Вместо того чтобы описывать лицо словами, модели вместе с промптом дают само лицо, и генерация опирается на это изображение, а не на прилагательные. Внешность передаётся пикселями, а не предложением. Это самый распространённый современный подход, и с новыми позами он справляется неплохо.

Обучение под каждого персонажа. На наборе изображений одного человека обучают небольшой адаптер, пока модель не усвоит эту внешность как понятие, которое можно вызвать. Дорого для каждого персонажа, зато очень сильный результат. Поэтому у платформ, которые так делают, обычно фиксированный набор персонажей, а не безграничное создание.

Структурированное повторение. Внешность хранится как фиксированный набор признаков и незаметно отправляется вместе с каждым запросом, так что пользователь никогда не набирает их заново и не получает шанса дать им поплыть. Сам по себе этот способ слабее двух других, и обычно его сочетают с одним из них.

Каким бы ни был метод, выдаёт его в результате одно и то же. Посмотри, переживает ли её лицо смену ракурса. Поверхностные подходы совпадают по тому, что видно анфас, и разваливаются, стоит камере сдвинуться.

Что «Студия» не даёт поменять

В «Студии» myVirtual.love всё это видно со стороны пользователя.

Ты выбираешь персонажа, а потом описываешь картинку. «Что происходит» — от «Просто фото» через «Бельё» и «Обнажённая» до «Секс», а если выбран «Секс», можно ещё указать позу. «Где» — список мест, среди которых, в числе многих других, «Пляж» и «Бассейн». «Камера» — «Крупный план», «По пояс», «В полный рост», «Снизу» и другие, а отдельный переключатель снимает сцену от твоего лица. Дальше идёт свободное поле для дополнительных деталей, а в расширенных настройках — качество, негативный промпт, сид и переключатель «Сохранить её лицо».

Ничто в этом списке не является ею. Нет поля для её лица, нет полей для цвета волос, этнической принадлежности, цвета глаз, телосложения или возраста. Всё это задаётся один раз, при её создании; если персонажа ты собирал сам, это были примерно восемнадцать вопросов на экране создания. «Студия» не спрашивает их заново, потому что именно из-за повторных вопросов внешность и плывёт. Выбор этнической принадлежности появляется, только если ты не выбираешь персонажа и описываешь кого-то нового — там нет внешности, которую нужно удерживать.

Внешность задаётся на входе, и из камеры её не отредактируешь. Сцена — на выходе, и редактируется полностью. Даже «Сохранить её лицо», единственный переключатель, который касается её лица, решает лишь одно: переносить ли её лицо в рендер; изменить её внешность он не может. Пользователь, которому дали бы заново вписывать её внешность в момент генерации, получил бы в руки ровно ту поломку, ради предотвращения которой эта система и существует.

Поле для деталей — свободный текст, так что в нём можно описать лампу, настроение, позу, предмет одежды. Оно стоит после внешности, и именно поэтому свободный текст там безопасен.

Проверка ракурсом «Снизу»

Если хочешь понять, решила ли платформа эту задачу по-настоящему, проверять стоит через список ракурсов. Главный вопрос — «Снизу».

Лицо, снятое анфас, и то же лицо, снятое снизу, на уровне пикселей имеют на удивление мало общего. Доминирует линия челюсти, нос полностью меняет форму, глаза в кадре уменьшаются, скулы словно выворачиваются наоборот. Системе, которая удерживает внешность через совпадение поверхностных черт, почти не за что зацепиться, и она делает то, что генераторы делают при ослабевшем ограничении: выдаёт правдоподобное лицо.

Правдоподобное — это и есть провал. Само по себе оно выглядит нормально, а рядом со вчерашним фото — не так.

Крупный план — другой конец той же проверки, и сложен он по противоположной причине. Лица в кадре так много, что мелким несоответствиям негде спрятаться: текстура кожи, точное расстояние между глазами, асимметрия, которая есть у любого настоящего лица и которую любая слабая генерация сглаживает.

Сгенерируй одну и ту же компаньонку крупным планом и снизу за одну сессию и положи два снимка рядом. Это сравнение скажет о системе под капотом больше, чем любой список функций.

У аниме своя проблема с консистентностью

Аниме кажется более простым случаем, потому что рисовка проще. Но это другая задача, а не более лёгкая.

Фотореалистичное лицо несёт свою идентичность в геометрии: в точных расстояниях и пропорциях, которые делают это лицо именно этим, а не похожим. Аниме-стиль намеренно убирает большую часть этого. Глаза увеличены и стандартизированы, нос часто — три пикселя, челюсть следует условностям рисовки, а не анатомии. У двух аниме-персонажей, нарисованных в одном стиле, геометрия лица может быть почти одинаковой, и при этом они будут восприниматься как совершенно разные люди.

Поэтому идентичность переезжает в другие места. Её несут форма и цвет волос, цвет глаз и то, как они нарисованы, аксессуары, силуэт, конкретная палитра. Система, которая удерживает аниме-внешность, отслеживает совсем другой набор черт, чем та, что держит фотографическое лицо. Платформа, которая относится к аниме как к фильтру поверх реалистичного конвейера, выдаёт персонажей, которые плывут ровно там, где это замечают зрители аниме.

Аниме на myVirtual.love — полноценная категория, а не вариант отрисовки. Стиль сохраняется на всех этапах генерации, так что аниме-компаньонка выдаёт аниме-картинки, а не фотореалистичного человека, поверх которого нарисовали аниме-образ.

Где внешность всё равно плывёт

Есть четыре места, куда фиксация внешности не дотягивается.

Незаданные детали. Всё, что ты не закрепил, каждый раз разыгрывается заново. Ожерелье, которое понравилось тебе на одном фото, пропадает со следующего, потому что оно никогда не было частью её внешности: модель просто однажды его придумала. Это удивляет тех, кто думает, что всё на сгенерированной картинке где-то хранится.

Свет и видимый оттенок кожи. Перенеси её от бассейна в полдень в сцену в помещении — и тот же человек получится теплее или холоднее. Внешность удержалась, поменялся свет. Человеческое восприятие плохо разделяет одно и другое, поэтому это может выглядеть как дрейф, хотя на деле это физика.

Разное качество отрисовки для разных этносов. Нынешние модели неодинаково хороши на всём диапазоне, и для одних из пяти вариантов этнической принадлежности результаты сильнее, чем для других. Это свойство того поколения моделей, на котором сейчас стоит вся отрасль, а не какой-то одной платформы. Об этом стоит знать до того, как создашь персонажа, а не после.

Откровенные позы под необычными ракурсами. Два самых жёстких ограничения сразу. Будь готов перегенерировать там чаще, чем портрет.

Сколько это стоит и почему

Картинка стоит от 5 до 8 сердечек, и за верхнюю цену ты получаешь более высокое качество.

Этот разброс — вычисления. Генерация — итеративный процесс, поэтому рендер высокого качества, на который уходит больше шагов очистки от шума, обходится в производстве ощутимо дороже стандартного.

Плата за картинку делает не только то, что окупает эти расходы. Фото, на которое ты что-то потратил, — это фото, которое ты продумал. Бесплатная безлимитная генерация даёт ленту. Небольшая цена даёт снимок кого-то конкретного.

Лица узнают раньше, чем разглядывают

Непостоянное лицо ломает компаньонку быстрее, чем плохо написанный текст.

Неудачную реплику можно поправить. С лицом, которое едва заметно не то, не поспоришь, потому что узнавание лиц — не то, что ты делаешь сознательно. Оно работает ниже порога внимания и крайне чувствительно к ошибкам. Компаньонка, чьё лицо меняется от фото к фото, — это не компаньонка с багом отрисовки. Это каждый раз другая женщина, и та часть тебя, которая что-то с ней строила, замечает это раньше, чем ты осознаёшь.

Поэтому внешность закреплена на входе, а двигается только камера. Если ты генерировал картинки там, где твоего персонажа считают описанием, которое каждый раз разыгрывается заново, то «Студия» построена на обратном принципе. Разница видна на втором фото, а не на первом.