05. 비추론 모델 실습 (GPT-4 등)

비추론 모델

• CoT (Chain of Thought) 과정이 없는 즉각적 응답 모델
• 비추론 계열 모델: GPT-3, GPT-4, GPT-4o 등

비추론 모델의 메세지 구성

비추론 모델의 메세지는 크게 아래와 같이 세 종류로 나뉜다

1. system 메세지: 대화 전반에 대한 정의

2. user 메세지: 사용자 대화

3. assistant 메세지: 챗봇 대화

Tip

추론 모델 (gpt-5, o1, o3, o4 등)에서는 system 메세지 대신 developer 메세지를 사용한다.

비추론 모델의 파라미터 옵션

temperature

• 확률 분포를 평탄화 혹은 극단화하기 위한 설정값
• 범위: 0~2 (기본값: 1)
• 값이 낮을 수록 (0에 가까울 수록) 일관성 있는 대답의 모델이 됨

• 값이 높을 수록 (2에 가까울 수록) 다양한 응답 형태의 모델이 됨

• Temperature에 따른 확률 분포 변화 예시

Max tokens

• 최대 출력 토큰 수
• 이 범위에 도달하면 모델은 텍스트 생성을 중단함

Top P

• 출력된 토큰 중 상위 (확률이 높은) 몇프로의 토큰만 고려할지에 대한 설정값
• 범위: 0~1
  • 1: 모든 토큰이 선택 대상
  • 0.5: 상위 50% 토큰만 선택 대상
  • 0: 가장 높은 확률의 토큰만 선택
• 값이 낮을 수록 (0에 가까울 수록) 일관성 있는 대답의 모델이 됨