KAN: MLP를 대체하는 새로운 신경망 구조
KAN은 MLP의 고정 활성화 함수 대신 학습 가능한 활성화 함수를 엣지에 배치하는 새로운 접근법입니다.
· 5min
Mamba: 선형 복잡도의 시퀀스 모델
Mamba는 Selective State Space Model로, Transformer와 경쟁하면서 시퀀스 길이에 선형적으로 확장됩니다.
· 5min
Retentive Network: Transformer의 대안
RetNet은 학습 시 병렬성, 추론 시 O(1) 복잡도, 성능 면에서 Transformer와 경쟁하는 새로운 아키텍처입니다.
· 8min