Blog
AI 도입과 활용에 대한 인사이트
Perceiver는 이미지, 오디오, 포인트 클라우드 등 다양한 입력을 처리하는 범용 Transformer 아키텍처입니다.
GitHub과 OpenAI가 만든 Copilot은 코드 자동 완성을 넘어 AI 페어 프로그래밍의 시대를 열었습니다.
LoRA는 원래 모델 가중치를 고정하고 저랭크 행렬만 학습하여, 메모리와 비용을 획기적으로 줄이는 미세 조정 기법입니다.
Google I/O 2021에서 발표된 LaMDA는 대화의 자연스러움과 개방성에서 새 기준을 세웠습니다.
RoPE는 현재 거의 모든 주요 LLM에서 사용되는 위치 인코딩 방법으로, 길이 외삽 능력이 뛰어납니다.
유럽연합이 세계 최초의 포괄적 AI 규제안을 발표했습니다.
Codex는 GPT-3를 코드 데이터로 파인튜닝한 모델로, GitHub Copilot의 기반 기술입니다.
글로벌 반도체 부족 사태가 AI 산업에 미치는 영향과 대응 전략을 분석합니다.
Waymo, Tesla, Hyundai 등 자율주행 기업들의 기술 경쟁 현황을 분석합니다.
DALL-E는 GPT-3의 아키텍처를 이미지 생성에 적용하여 텍스트 설명으로 이미지를 생성합니다.
OpenAI의 DALL-E가 텍스트 설명으로 이미지를 생성하며 멀티모달 AI의 가능성을 열었습니다.
Switch Transformer는 Mixture of Experts(MoE)를 활용해 1조 파라미터 모델을 효율적으로 학습시킵니다.