סרטון AI מתמונה: המדריך המלא

איך photo-to-video באמת עובד

image-to-video הוא נקודת הכניסה המעשית ביותר ליצירת וידאו ב-AI. במקום לתאר סצנה שלמה מאפס, אתם נותנים למודל תצלום ומבקשים ממנו לדמיין את השניות הבאות. התמונה נועלת את הקומפוזיציה, הנושא, התאורה והסגנון; התפקיד היחיד של המודל הוא תנועה. המגבלה הזו היא הסיבה שתוצאות photo-to-video נראות טובות באופן דרמטי יותר מ-text-to-video באותה רמת טכנולוגיה.

מתחת למכסה המנוע, המודל עושה שני דברים. ראשית, הוא מנתח את התמונה שלכם כמו שמודל תמונות היה עושה: נושאים, עומק, תאורה, טקסטורות. שנית, הוא מנבא רצף קצר של פריימים שבאופן סביר באים אחר כך, בהנחיית פרומפט התנועה שלכם. איכות הפלט תלויה בשלושה קלטים, בערך בסדר החשיבות הזה: תמונת המקור, תיאור התנועה והגדרות היצירה. רוב מדריכי פתרון הבעיות מתחילים בהגדרות; זה מתחיל בתמונה, כי שם נולדים רוב הכשלים.

ציפייה אחת כדאי ליישר מראש: המודל מנפיש את מה שיש בתמונה. הוא לא מדמיין אותה מחדש. אם התמונה שלכם חשוכה, מטושטשת או ממוסגרת בצורה מביכה, הסרטון יהיה גרסה נעה של חשוך, מטושטש וממוסגר בצורה מביכה. זבל בפנים, תנועה בחוץ.

בחירת התמונה הנכונה: חוק שמונים האחוז

הרזולוציה חשובה, אבל לא כמו שחושבים. אין צורך במקור 4K; רוב מודלי הווידאו עובדים פנימית ב-720p וממילא מקטינים את הקלט שלכם. מה שצריך זו תמונה נקייה וחדה בגודל סביר — 1024 פיקסלים בצד הארוך זה בהחלט מספיק. תמונה חדה של 1024px מנצחת תמונה מטושטשת של 4K בכל פעם.

המיסגור הוא המנוף האמיתי. המודל יכול להנפיש רק את מה שהוא רואה, ולכן הנושאים צריכים להיות במלואם בתוך הפריים עם מרחב נשימה סביבם. חיתוכים הדוקים שחותכים גפיים או את החלק העליון של הראש מאלצים את המודל להמציא בתנועה חלקי גוף חסרים — סיבה מרכזית לגליצ'ים אנטומיים. אם אתם רוצים סרטון קלוז-אפ, צלמו תמונת קלוז-אפ; אל תצפו שהמודל ימסגר מחדש בשבילכם.

פנים ראויות לכללים מיוחדים. פנים חזיתיות או בשלושת-רבעי, מוארות באופן אחיד ולא חסומות, שומרות על הזהות טוב בהרבה מפרופיל, פנים בצל עמוק, או כאלה שמכוסות חלקית בשיער או בידיים. המודל עוקב אחר תווי הפנים בין הפריימים על ידי התאמת מה שהוא רואה; תנו לו רפרנס ברור וה-drift יורד בחדות.

התאורה בתמונת המקור קובעת את התקרה של הסרטון. תאורה אחידה ורכה נותנת למודל מידע נקי על צורות וטקסטורות. ניגודיות קשה, פילטרים כבדים או color grading קיצוני במקור מתגברים בתנועה, לא מוחלקים. בספק, בחרו את הגרסה המוארת באופן הטבעי ביותר של הצילום שיש לכם.

הגדרות שחשובות: משך, יחס, תנועה

המשך הוא ההגדרה הראשונה שצריך להחליט, ובזמן הלמידה קצר יותר זה חכם יותר. חמש שניות הן אורך הבדיקה הסטנדרטי: מספיק ארוך כדי להעריך אם התנועה נראית טבעית, מספיק קצר כדי לשמור על איטרציה זולה. האריכו לשמונה או עשר שניות רק כשהגרסה של חמש השניות יציבה, כי יצירות ארוכות יותר מכפילות גם את העלות וגם את הסיכוי לירידת איכות באמצע הקליפ.

יחס הממדים צריך להתאים לתמונת המקור שלכם, לא לפלטפורמת היעד. אם התמונה שלכם אנכית 9:16 ואתם מבקשים סרטון 16:9, המודל חייב לחתוך או למתוח — שניהם פוגעים באיכות. קודם התאימו את היחס לתמונה; מסגרו מחדש לפלטפורמות אחר כך עם כלי עריכה סטנדרטיים.

עוצמת התנועה (נקראת לפעמים motion intensity או dynamics) שולטת בכמה זז. ערכים נמוכים מייצרים תוצאות עדינות, כמעט סטילס — בטוח אבל משעמם. ערכים גבוהים מייצרים תנועה דרמטית — מרגש אבל חשוף ל-warping ול-identity drift. התחילו באמצע והתאימו לפי מה שאתם רואים: אם הסרטון מרגיש קפוא, הגבירו; אם הפנים מתחילות להימס, הנמיכו.

seed והגדרות קבועות חשובים יותר לווידאו מאשר לתמונות. כשאתם מוצאים שילוב שעובד, נעלו את ה-seed לפני שאתם חוזרים על הפרומפט. שינוי תיאור התנועה בזמן שה-seed נסחף אומר שלעולם לא תלמדו איזה שינוי גרם לאיזה אפקט — אותה משמעת של משתנה-אחד כמו באיטרציית פרומפטים לסטילס.

prompting של תנועה: פעלים, לא שמות עצם

פרומפט התנועה הוא מיומנות שונה מ-prompting של תמונות. כשפרומפט תמונה מתאר סצנה סטטית, פרומפט תנועה מתאר שינוי לאורך זמן. המודל צריך פעלים, כיוונים וקצב — לא רק שמות עצם.

התחילו בתנועה העיקרית. "היא מסובבת לאט את ראשה לעבר המצלמה" מנצח "beautiful woman, cinematic", כי זה אומר למודל מה באמת זז. תנועה עיקרית אחת ברורה מנצחת שלוש מתחרות; אם הכול זז, שום דבר לא נקרא כמכוון.

הוסיפו תנועה משנית לריאליזם. שיער מתנופף קלות, בד זז, אלמנטי רקע נסחפים — התנועות המשניות הקטנות האלה הן מה שמפריד בין "תמונה מונפשת" ל"סרטון". תארו אותן בקצרה: "השיער שלה נע בעדינות ברוח" זה מספיק. המודל משלים את הפיזיקה.

ציינו מה צריך להישאר דומם. "מצלמה נשארת סטטית" או "locked-off shot" מונעים את הזום האיטי והמבחיל שהמודל לפעמים מוסיף בלי הזמנה. אם אתם רוצים תנועת מצלמה, קראו לה בשמה במפורש ("slow push-in") במקום לתת למודל לאלתר.

שמרו על פרומפטי תנועה קצרים — שניים עד שלושה משפטים. תיאורי תנועה ארוכים ומקושטים מדללים את ההוראה המרכזית בדיוק כמו פרומפטי תמונה ארוכים מדי. נושא, תנועה עיקרית, תנועה משנית, התנהגות מצלמה. זו כל הנוסחה.

כשלים נפוצים ואיך לתקן אותם

identity drift — הפנים משתנות בין הפריימים — הוא הכשל המדווח ביותר. סיבות, לפי הסדר: פנים לא ברורות בתמונת המקור, עוצמת תנועה מוגזמת, ומשך ארוך מדי. תקנו בסדר הזה: קודם תמונת מקור טובה יותר, אחר כך הנמיכו תנועה, אחר כך קצרו את הקליפ. אל תנסו לתקן drift רק במילות פרומפט; זו בעיית נתונים, לא בעיית שפה.

פלט קפוא או כמעט סטטי בדרך כלל אומר שפרומפט התנועה היה חלש מדי או שעוצמת התנועה הייתה נמוכה מדי. חזקו את שניהם וצרו מחדש. אם המודל עדיין כמעט לא זז, ייתכן שבתמונת המקור חסרים רמזי עומק (תאורה שטוחה מאוד, רקעים פשוטים נותנים למודל מעט לעבוד איתו).

warping והימסות — גפיים מתכופפות בצורה בלתי אפשרית, רקעים נמרחים — נובעים מעוצמת תנועה גבוהה מדי יחסית למה שהסצנה סובלת. תנוחות מורכבות ורקעים עמוסים סובלים פחות תנועה מאשר פשוטים. הנמיכו את העוצמה או פשטו: בחרו תמונת מקור רגועה יותר.

הבהובים וזחילת טקסטורות קורים בעיקר בקליפים ארוכים ובדרך כלל מתחילים באמצע היצירה. התיקון המעשי הוא משך קצר יותר; הגרסה של חמש השניות של קליפ שמהבהב בעשר שניות היא לעתים קרובות נקייה לחלוטין. התייחסו למשך כבקרת איכות, לא רק כבחירה יצירתית.

גליצ'ים אנטומיים (אצבעות נוספות שמופיעות באמצע התנועה, פנים שמתעוותות בסיבובים) הם המקבילה בווידאו לבעיית הידיים בסטילס — מוגברת כי המודל חייב לשמור על אנטומיה בין הפריימים. צמצמו על ידי שמירה על מיסגור מקור נדיב, הימנעות מתנוחות קיצוניות ושמירה על תנועה מתונה. שיעור גליצ'ים מסוים טבוע בטכנולוגיה הנוכחית; תקצבו re-rolls.

צ'קליסט לפני המראה (חסכו את הקרדיטים שלכם)

לפני כל יצירה, עברו על הצ'קליסט הזה. תמונת מקור: חדה, מוארת היטב, הנושא במלואו בפריים, פנים ברורות אם הזהות חשובה. יחס ממדים: תואם לתמונה. משך: חמש שניות לבדיקות. עוצמת תנועה: באמצע להתחלה. פרומפט תנועה: תנועה עיקרית אחת, אחת משנית, התנהגות מצלמה מוגדרת. seed: נעול ברגע שמצאתם הגדרות שאתם אוהבים.

אחרי היצירה, העריכו בסדר הזה. ראשית, זהות: האם הנושא עדיין נראה כמו בתמונה? אם לא, תקנו את המקור או הנמיכו תנועה לפני שנוגעים במשהו אחר. שנית, איכות תנועה: האם התנועה נראית פיזיקלית סבירה? שלישית, ארטיפקטים: סרקו את כל הקליפ ל-warping, הבהובים או שברים אנטומיים, במיוחד בשתי השניות האחרונות שבהן הירידה מתרכזת.

שמרו לוג פשוט: תמונה בשימוש, הגדרות, פרומפט תנועה, seed, ופסק דין בשורה אחת. אחרי עשרים יצירות יהיה לכם playbook אישי — אילו עוצמות תנועה עובדות לפורטרטים לעומת צילומי גוף מלא, אילו תמונות של המצלמות שלכם מנפישות הכי טוב, איך המודל של הפלטפורמה שלכם מטפל בשיער ובבד. ה-playbook הזה שווה יותר מכל מדריך, כי הוא מכוון לקלטים שלכם.

והמטא-כלל: חזרו על ניסיונות בזול. בדקו בחמש שניות, עלות נמוכה, turnaround מהיר. הוציאו את היצירה הארוכה והיקרה רק כשהגרסה הזולה הוכיחה את הקונספט. רוב הקרדיטים המבוזבזים בווידאו AI באים מקליפים של עשר שניות של רעיונות לא נבדקים.