논문: The Claude 3.5 Model Family 저자: Anthropic 링크: https://www.anthropic.com/news/claude-3-5-sonnet

논문 핵심

Claude 3.5 Sonnet은 GPT-4o와 동등하거나 상회하는 벤치마크를 기록하면서도, Anthropic의 Constitutional AI(CAI) 기반 안전성 프레임워크를 한층 강화했습니다.

주요 성능

"Claude 3.5 Sonnet sets new industry benchmarks for graduate-level reasoning and coding."

  • MMLU: 88.7% (GPT-4o 대비 유사)
  • HumanEval: 92.0% (코드 생성 최고 수준)
  • Graduate-level QA: 기존 모든 모델 상회
  • 비전 이해: 차트, 문서, 이미지 해석 강점

Constitutional AI 발전

Claude의 안전성 접근법은 RLHF와 달리, AI 자체가 원칙에 따라 자기 출력을 평가하고 수정합니다:

  1. 헌법(원칙) 정의
  2. AI가 자체 출력을 원칙에 비추어 비평
  3. 비평 기반으로 출력 수정
  4. 수정된 데이터로 학습

실무 시사점

Claude 3.5 Sonnet은 코드 생성과 분석 태스크에서 특히 강한 면모를 보입니다. 기업 환경에서 안전성이 중요한 경우, CAI 기반의 예측 가능한 행동 패턴은 큰 장점입니다.