AI-видео из фото: полное руководство

Как photo-to-video работает на самом деле

Image-to-video — самый практичный вход в генерацию AI-видео. Вместо того чтобы описывать целую сцену с нуля, вы даёте модели фотографию и просите её представить следующие несколько секунд. Фото фиксирует композицию, объект, свет и стиль; единственная работа модели — движение. Именно это ограничение объясняет, почему результаты photo-to-video при том же уровне технологий выглядят разительно лучше, чем text-to-video.

Под капотом модель делает две вещи. Во-первых, она анализирует ваше изображение так, как это делала бы модель изображений: объекты, глубина, свет, текстуры. Во-вторых, она предсказывает короткую последовательность кадров, которая правдоподобно следует дальше, руководствуясь вашим motion-промптом. Качество результата зависит от трёх входов, примерно в таком порядке важности: исходное фото, описание движения и настройки генерации. Большинство руководств по устранению неполадок начинают с настроек; это начинается с фото, потому что именно там зарождается большинство неудач.

Одно ожидание стоит выстроить заранее: модель анимирует то, что есть на фото. Она не переосмысливает его. Если ваше фото тёмное, размытое или неловко скадрировано, видео будет движущейся версией тёмного, размытого и неловко скадрированного. Мусор на входе — мусорное движение на выходе.

Выбор правильного фото: правило 80 процентов

Разрешение важно, но не так, как думают. Источник в 4K не нужен; большинство видеомоделей внутри работают на 720p и всё равно уменьшают ваш вход. Нужно чистое, резкое изображение разумного размера — 1024 пикселя по длинной стороне более чем достаточно. Резкое фото 1024px каждый раз побеждает размытое фото 4K.

Кадрирование — настоящий рычаг. Модель может анимировать только то, что видит, поэтому объекты должны быть полностью в кадре с запасом воздуха вокруг. Тесные кропы, отрезающие конечности или макушку, заставляют модель выдумывать недостающие части тела в движении — ведущая причина анатомических глюков. Хотите видео крупным планом — снимайте фото крупным планом; не ждите, что модель перекадрирует за вас.

Для лиц — особые правила. Лицо анфас или в три четверти, равномерно освещённое и ничем не закрытое, сохраняет идентичность разительно лучше, чем профиль, лицо в глубокой тени или частично закрытое волосами или руками. Модель отслеживает черты лица между кадрами, сопоставляя увиденное; дайте ей чёткий референс — и дрейф резко упадёт.

Свет исходного фото задаёт потолок видео. Ровный, мягкий свет даёт модели чистую информацию о формах и текстурах. Жёсткий контраст, тяжёлые фильтры или экстремальная цветокоррекция в исходнике в движении усиливаются, а не сглаживаются. В сомнениях берите самую естественно освещённую версию кадра, что у вас есть.

Настройки, которые имеют значение: длительность, соотношение, движение

Длительность — первая настройка, которую нужно решить, и пока вы учитесь, короче — умнее. Пять секунд — стандартная тестовая длина: достаточно длинно, чтобы оценить, выглядит ли движение естественно, и достаточно коротко, чтобы итерации оставались дешёвыми. Увеличивайте до восьми-десяти секунд, только когда пятисекундная версия стабильна, потому что более длинные генерации умножают и стоимость, и шанс деградации в середине клипа.

Соотношение сторон должно соответствовать вашему исходному фото, а не целевой платформе. Если фото вертикальное 9:16, а вы просите видео 16:9, модели придётся кадрировать или растягивать — и то, и другое вредит качеству. Сначала подгоните соотношение под фото; перекадрирование под платформы делайте потом стандартными инструментами монтажа.

Сила движения (иногда называется motion intensity или dynamics) управляет тем, насколько сильно всё движется. Низкие значения дают тонкие, почти статичные результаты — безопасно, но скучно. Высокие дают драматичное движение — захватывающе, но чревато варпингом и дрейфом идентичности. Начинайте с середины и подстраивайте по увиденному: если видео кажется замороженным — повышайте; если лица начинают плавиться — понижайте.

Seed и фиксированные настройки для видео важнее, чем для изображений. Когда найдёте рабочую комбинацию, зафиксируйте seed, прежде чем итерировать промпт. Менять описание движения, пока seed дрейфует, — значит никогда не узнать, какое изменение дало какой эффект: та же дисциплина одной переменной, что и в итерации промптов для статичных кадров.

Промптинг движения: глаголы, а не существительные

Motion-промпт — другой навык, нежели промптинг изображений. Если промпт изображения описывает статичную сцену, motion-промпт описывает изменение во времени. Модели нужны глаголы, направления и темп — а не только существительные.

Начните с основного движения. «Она медленно поворачивает голову к камере» бьёт «beautiful woman, cinematic», потому что говорит модели, что реально движется. Одно чёткое основное движение бьёт три конкурирующих; если движется всё, ничто не выглядит намеренным.

Добавьте вторичное движение для реалистичности. Слегка колышущиеся волосы, сдвигающаяся ткань, дрейфующие элементы фона — эти мелкие вторичные движения отделяют «ожившее фото» от «видео». Опишите их кратко: «её волосы мягко колышутся на ветру» — достаточно. Физику модель достроит сама.

Укажите, что должно оставаться неподвижным. «Камера статична» или «locked-off shot» предотвращает тошнотворный медленный зум, который модель иногда добавляет без спроса. Если хотите движение камеры — назовите его явно («slow push-in»), а не позволяйте модели импровизировать.

Держите motion-промпты короткими — два-три предложения. Длинные витиеватые описания движения размывают ключевую инструкцию так же, как слишком длинные промпты изображений. Объект, основное движение, вторичное движение, поведение камеры. Это и есть вся формула.

Частые неудачи и как их исправить

Дрейф идентичности — лицо меняется от кадра к кадру — самая частая жалоба. Причины по порядку: нечёткое лицо на исходном фото, избыточная сила движения и слишком большая длительность. Исправляйте в этом порядке: сначала лучшее исходное фото, затем снизьте движение, затем укоротите клип. Не пытайтесь исправить дрейф одними словами промпта; это проблема данных, а не языка.

Замороженный или почти статичный результат обычно означает, что motion-промпт был слишком слабым или сила движения слишком низкой. Усильте оба и сгенерируйте заново. Если модель всё ещё почти не двигается, в исходном фото, возможно, не хватает подсказок глубины (очень плоский свет, простые фоны дают модели мало материала для работы).

Варпинг и плавление — конечности гнутся невозможным образом, фоны размазываются — следствие силы движения, слишком высокой для того, что сцена выдерживает. Сложные позы и загруженные фоны терпят меньше движения, чем простые. Понизьте силу или упростите: выберите более спокойное исходное фото.

Мерцание и ползущие текстуры чаще всего случаются в длинных клипах и обычно начинаются в середине генерации. Практичное решение — более короткая длительность; пятисекундная версия клипа, который мерцает на десяти секундах, часто идеально чистая. Относитесь к длительности как к контролю качества, а не только как к творческому выбору.

Анатомические глюки (лишние пальцы, появляющиеся в середине движения, лица, искажающиеся при поворотах) — видеоэквивалент проблемы рук в статичных изображениях, усиленный тем, что модель должна удерживать анатомию между кадрами. Минимизируйте, оставляя щедрое кадрирование исходника, избегая экстремальных поз и держа движение умеренным. Некоторая доля глюков присуща текущим технологиям; закладывайте бюджет на перегенерации.

Предполётный чек-лист (берегите кредиты)

Перед каждой генерацией прогоняйте этот чек-лист. Исходное фото: резкое, хорошо освещённое, объект полностью в кадре, лицо чёткое, если идентичность важна. Соотношение сторон: соответствует фото. Длительность: пять секунд для тестов. Сила движения: с середины для старта. Motion-промпт: одно основное движение, одно вторичное, поведение камеры указано. Seed: зафиксирован, как только нашли настройки, которые нравятся.

После генерации оценивайте в этом порядке. Во-первых, идентичность: объект всё ещё похож на фото? Если нет — сначала исправьте источник или снизьте движение, прежде чем трогать остальное. Во-вторых, качество движения: движение выглядит физически правдоподобно? В-третьих, артефакты: просканируйте весь клип на варпинг, мерцание или анатомические сбои, особенно последние две секунды, где деградация концентрируется.

Ведите простой журнал: использованное фото, настройки, motion-промпт, seed и вердикт в одну строку. После двадцати генераций у вас будет личный плейбук — какие силы движения работают для портретов против ростовых кадров, какие фото ваших камер лучше всего анимируются, как модель вашей платформы работает с волосами и тканью. Этот плейбук ценнее любого руководства, потому что он настроен под ваши входы.

И мета-правило: итерируйте дёшево. Тестируйте на пяти секундах, низкая стоимость, быстрый оборот. Тратите длинную дорогую генерацию, только когда дешёвая версия доказала концепцию. Большинство потраченных впустую кредитов в AI-видео — это десятисекундные клипы непроверенных идей.