LLM Temperature 설정 가이드: AI 창의성 제어

Temperature는 AI 출력을 제어하는 가장 중요한 파라미터이지만, 대부분의 사용자가 건드리지 않습니다.

Temperature가 실제로 하는 일

Temperature는 텍스트 생성 시 토큰 선택의 무작위성을 제어합니다. 0에서는 항상 가장 확률 높은 토큰을 선택하여 결정적이고 반복적인 출력을 생성합니다. 1.0에서는 전체 확률 분포에서 샘플링하여 창의적이고 다양한 출력을 생성합니다.

음악가에 비유하면: 0은 악보를 완벽히 연주하는 클래식 피아니스트, 0.7은 구조 안에서 즉흥 연주하는 재즈 뮤지션, 1.5는 혼돈에 가까운 실험적 노이즈입니다.

작업별 권장 설정

0-0.2 (사실적/결정적): 코드 생성, 데이터 추출, 분류, 번역 등 정확도와 일관성이 중요한 작업.

0.3-0.6 (균형): 비즈니스 글쓰기, 요약, 분석. 로봇 같은 출력을 피하면서 신뢰성 유지.

0.7-1.0 (창의적): 브레인스토밍, 크리에이티브 라이팅, 마케팅 슬로건, 아이디에이션.

Top_P: Temperature의 보완

Top_P는 Temperature와 함께 작동하지만 무작위성을 다르게 제어합니다. 대부분의 사용자에게는 Temperature만 조정하면 충분합니다.

실용적 테스트 프로토콜

최적 Temperature를 찾으려면 같은 프롬프트를 0.2, 0.5, 0.7, 0.9에서 각 5회 생성하여 비교하세요.