모델을 실제로 조종하는 프롬프트의 해부학
디퓨전 모델은 사람이 문장을 읽듯 프롬프트를 읽지 않습니다. 토큰과 학습된 연관에 반응합니다. 그래서 유려한 프롬프트보다 구조화된 프롬프트가 성능이 좋습니다. 꾸준히 통하는 구조는 정보를 중요도 순으로 배열합니다. 주제 먼저, 그다음 매체, 스타일, 조명, 구도, 마지막에 기술적 세부.
주제는 명사구에 동작과 배경을 더한 것입니다. '어수선한 작업대에서 회중시계를 수리하는 나이 든 시계공'은 모델에게 사물만이 아니라 관계를 줍니다. 구체성이 다른 어디보다 여기서 중요합니다. '아름다운 여성'은 학습 데이터의 평균 얼굴을 낳고, '바람에 흩날리는 붉은 머리에 주근깨가 있는 40대 여성'은 한 사람을 낳습니다.
매체는 렌더링 파이프라인 전체를 결정합니다. 사진, 유화, 수채화, 3D 렌더, 목탄 스케치. 뒤에 오는 모든 것을 제약하므로 앞쪽에 와야 합니다. 수채화에 '필름 그레인'은 말이 안 됩니다.
스타일은 매체 안에서 좁혀 들어갑니다. 필름 누아르, 스튜디오 지브리, 1970년대 내셔널 지오그래픽, 아르누보. 그다음 조명과 구도(다음 섹션), 그다음 종횡비 같은 매개변수.
순서가 중요한 데는 기계적인 이유가 있습니다. 대부분의 모델은 앞쪽 토큰에 더 큰 가중치를 주고, 긴 프롬프트는 꼬리가 잘리거나 희석됩니다. 양보할 수 없는 것은 첫 열 단어 안에 넣고, 마흔 번째 단어 이후는 모델이 무시해도 되는 제안으로 취급하세요.
미드저니, 스테이블 디퓨전, DALL-E: 같은 단어, 다른 기계
프롬프트는 이식되지 않습니다. 3대 생태계는 가중치, 네거티브, 매개변수를 다르게 해석하고, 한 엔진의 문법을 다른 엔진에 붙여넣으면 조용히 아무 일도 일어나지 않거나 — 더 나쁘게는 — 장면 속 글자가 되어버립니다.
미드저니는 이중 콜론 가중치(ocean::2 sky::0.5), 커맨드라인식 매개변수(종횡비 --ar 16:9, 다양성 --chaos, 스타일 참조 이미지 --sref), 그리고 제외를 위한 --no 매개변수(--no text, watermark)를 씁니다. 기본값부터 양식화되고 주관이 강해서, 밋밋한 프롬프트도 일단 '예쁘게' 나옵니다.
스테이블 디퓨전 생태계(AUTOMATIC1111, ComfyUI)는 괄호 가중치를 씁니다. (golden hour:1.3)은 개념을 강화하고 1 미만 값은 억제합니다. 그리고 진짜로 분리된 네거티브 프롬프트 칸이 있는데, 이것이 주된 품질 레버입니다. deformed hands, extra fingers, watermark, low quality는 본 프롬프트가 아니라 거기에 삽니다. 기본 SD는 미드저니보다 훨씬 문자 그대로이고, 어떤 체크포인트 모델을 로드하느냐에 따라 결과가 크게 출렁입니다.
DALL-E 계열의 자연어 시스템은 접근 전체를 뒤집습니다. 가중치도 네거티브 칸도 없습니다. 산문을 따르도록 훈련됐으므로 명확한 서술 문단을 쓰고 제외는 문장으로 진술합니다('이미지 어디에도 글자 없음'). 토큰 범벅 프롬프트는 여기서 오히려 성능이 떨어집니다.
이 도구는 쉼표로 구분된 키워드 프롬프트 — 미드저니와 SD가 공유하는 방언 — 를 출력합니다. DALL-E식 시스템에는 먼저 LLM에게 키워드 목록을 흐르는 산문으로 다시 써 달라고 하세요.
Same intent, three dialects:
Midjourney:
lighthouse on a cliff, storm waves::2, oil painting,
dramatic lighting --ar 16:9 --no boats, text
Stable Diffusion:
oil painting of a lighthouse on a cliff,
(storm waves:1.3), dramatic lighting
Negative prompt: boats, text, watermark, blurry
DALL-E style:
An oil painting of a lighthouse on a cliff battered
by storm waves. Dramatic lighting, wide 16:9
composition. No boats and no text in the image.이미지를 움직이는 어휘: 빛, 프레이밍, 렌즈
떠도는 프롬프트 속 품질 단어 대부분은 소음입니다. masterpiece, best quality, highly detailed, 8k는 화물숭배 토큰입니다. 어떤 모델에서는 무해하고 어떤 모델에서는 무의미합니다. 이미지를 확실하게 바꾸는 어휘는 사진과 촬영술에서 옵니다. 학습 캡션이 거기서 왔기 때문입니다.
조명이 지렛대가 가장 큰 범주입니다. golden hour는 따뜻한 저각도 빛과 긴 그림자를 만들고, blue hour는 차가운 황혼의 광채를 만듭니다. Rembrandt lighting은 인물 사진에서 한쪽 뺨의 빛 삼각형을 주고, rim lighting은 어두운 배경에서 피사체를 분리하며, 북향 창의 부드러운 확산광은 고전적인 초상 레시피이고, 한낮의 강한 태양은 다큐멘터리 특유의 평평함을 만듭니다. 각 구절이 통째로 학습된 장면 하나를 실어 나릅니다.
구도 단어는 당신이 잡아본 적 없는 카메라를 세팅합니다. extreme close-up, low-angle shot(위압감), bird's-eye view, rule of thirds, negative space(미니멀한 고립), dutch angle(불안감). 렌즈와 필름 토큰이 마무리합니다. 85mm f/1.4는 크리미한 배경 흐림을, 24mm wide angle은 환경적 맥락과 약간의 왜곡을, macro는 아주 작은 스케일의 극단적 디테일을, shot on Portra 400은 특정한 따뜻한 필름 팔레트를, long exposure는 물을 매끄럽게 하고 빛을 줄무늬로 만듭니다.
범주당 하나만 고르세요. golden hour, neon lighting, overcast를 쌓으면 세 분위기가 섞이는 게 아니라, 모델이 평균 내서 진흙으로 만듭니다.
Flat prompt:
portrait of an old fisherman, masterpiece, 8k,
highly detailed, best quality, amazing
Photographic prompt:
portrait of an old fisherman mending a net,
weathered hands in focus, Rembrandt lighting,
overcast harbor at dawn, 85mm f/1.4, shallow
depth of field, Kodak Portra 400, rule of thirds슬롯머신이 아니라 사진가처럼 반복하라
프롬프트 반복의 기본 실패 모드는 슬롯머신 루프입니다. 생성하고, 마음에 안 들고, 프롬프트 전체를 다시 쓰고, 반복. 매 실행이 랜덤 시드를 다시 굴리기 때문에 아무것도 배우지 못합니다. 이미지가 당신의 수정 때문에 바뀌었는지 주사위 때문에 바뀌었는지 구분할 수 없으니까요.
사진가의 루프는 고정된 시드에 대해 한 번에 변수 하나만 바꿉니다. 스테이블 디퓨전에서는 시드를 명시적으로 설정하고, 미드저니에서는 --seed를 쓰세요. 시드를 고정한 채 수정 하나마다 재생성하세요. golden hour를 overcast로 바꾸고, 가중치 하나를 더하고, 형용사 하나를 빼고. 이제 출력의 차이는 당신의 변경 덕분이라고 말할 수 있고, 한 세션이 끝나면 당신의 엔진에서 각 토큰이 무슨 일을 하는지에 대한 개인 관용구집이 생깁니다.
실전 세션의 모양: 느슨한 탐색 배치(4~8장, 시드 없이)를 한 번 돌려 추구할 만한 구도를 찾고, 그 시드를 고정하고, 속성별 패스를 돕니다. 조명 먼저, 그다음 스타일, 그다음 네거티브 프롬프트나 --no로 청소. 건질 이미지마다 전체 프롬프트와 시드를 저장하세요. 레시피를 잃어버린 걸작은 능력이 아니라 일회성 행운입니다.
그리고 프롬프트 입력창을 떠날 때를 아세요. 잘못된 손 하나, 사물 하나를 고치는 것은 인페인팅(또는 Vary Region) 작업이지, 이미 마음에 드는 구도를 다시 굴릴 이유가 아닙니다.
실패 유형과 정직한 한계
어떤 실패는 프롬프트 문제고 어떤 실패는 모델 문제입니다. 어느 쪽인지 아는 것이 몇 시간을 아껴줍니다.
모순된 토큰은 진흙을 만듭니다. minimalist에 intricate details를 더하거나 경쟁하는 두 화풍을 넣으면 어느 쪽도 아닌 평균이 나옵니다. 개념 번짐은 더 교묘합니다. 속성이 피사체 사이를 떠돌아서, '빨간 머리 여자와 파란 코트의 남자'는 종종 머리색과 코트를 맞바꿉니다. 가중치가 도움이 되고, 피사체를 다른 영역으로 분리하거나(또는 따로 생성해 합성하거나) 하면 더 도움이 됩니다.
다른 한계들은 구조적이라 어떤 표현도 확실히 고치지 못합니다. 이미지 속 읽을 수 있는 글자(나아지고 있지만 여전히 불안정 — 타이포그래피는 편집기에서 얹을 계획을 세우세요), 손과 맞물린 손가락, 서너 개를 넘는 정확한 개체 수, 자전거나 시계 같은 기계 장치의 물리적 타당성. 이런 것들은 50번 재생성에 태우지 말고 리터칭 예산을 잡으세요.
진지하게 받아들일 검증 노트 둘. 빌더에서 빌려온 스타일 토큰은 예상 밖의 짐을 실어올 수 있습니다. 조사하지 않은 태그가 의도하지 않은 미학을 끌어들일 수 있으니, 낯선 토큰은 고정 시드에서 시험한 뒤에 의존하세요. 그리고 상업적 사용이라면 사용하는 생성기의 라이선스 조건을 확인하고, 프롬프트에 생존 작가의 이름이 들어간다면 게시 전에 윤리와 점점 활발해지는 법적 지형을 함께 저울질하세요.