LangChain (2) LLM 개요

Transformer 아키텍처

현재 NLP 분야에서 사용되는 언어모델의 대부분은 Transformer 아키텍처를 기반으로 하고, 모델의 용도에 따라

트랜스포머 아키텍처의 Encoder, Decoder를 사용하는 추세. (다 같이 사용하기도 함)

위의 이미지와 같이 생긴 구조인데 왼쪽이 Encoder, 오른쪽이 Decoder임.
쉽게 설명하면 Encoder는 해석을 잘하고, Decoder는 생성을 잘한다.

그림을 살펴보면 Encoder Only, Decoder Only, Encoder-Decoder 기반 모델들을 살펴볼 수 있다.

LLM 공개 여부

Closed Source

OpenAI, Google의 경우 GPT 모델과 PALM, Bard 모델들이 있는데 모두 코드가 공개되어있지 않다.
둘다 성능이 뛰어나고 API로 호출할 수 있어 편리하지만 보안문제와 비용문제가 존재한다.

Open Source

LLaMA 계열 LLM이 존재한다. LLAMA를 개량해서 나온 버전들로 vicuna, alpaca, LLAMA2를 개량한 upstage-llama2 등이 있다.
그 외의 Open-source LLM으로는 MPT-7B, WizardLM이 있다.
이들의 장점은 Closed Source에 못지 않은 성능과 높은 보안성, 모델 생성후 추가적인 비용이 필요 없다는데 있다.
하지만, 별도의 GPU 서버를 구축해야하고 개발의 난이도가 높다는 단점이 있다.

 

Reference

모두의 AI 유튜브 채널[https://www.youtube.com/@AI-km1yn]