#Transformer
Transformer 태그가 붙은 모든 글
U-Net을 Transformer로 대체한 DiT 아키텍처가 이미지/비디오 생성을 어떻게 변화시키는지 분석합니다.
Primer는 진화 알고리즘으로 Transformer 변형을 탐색하여, 기본 Transformer보다 효율적인 구조를 발견했습니다.
RoPE는 현재 거의 모든 주요 LLM에서 사용되는 위치 인코딩 방법으로, 길이 외삽 능력이 뛰어납니다.
Vision Transformer(ViT)는 이미지를 패치로 나눠 Transformer에 입력하는 단순한 접근으로 CNN을 넘어섰습니다.
BERT, XLNet, T5 등 Transformer 기반 NLP 모델들의 발전 흐름을 정리합니다.
2020년 AI 산업의 핵심 트렌드와 Transformer 모델의 부상을 분석합니다.