LLAMA2 (1) 설치

WSL에서 설치

우측 링크를 타고가서 wsl2를 설치하자 -> wsl 설치

WSL에 가상환경 설정

conda 설치

conda를 설치하고 환경 설정을 해야함 -> conda 설치는 아래 링크를 타고 가서 진행

conda 설치

가상환경 생성 및 패키지 설치

conda create -n llama2 python=3.10.9
conda activate llama2
install pytorch: pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

llama2 모델 설치

Meta AI 공홈 설치(추천)

다운로드 신청

이 링크에 들어가면 다운로드 신청을 할 수 있다.
→ 다운로드 신청을 하면 메일이 오는데 해당 메일의 url이 이후 다운로드 과정에서 필요하다.

다운로드 신청 후에 본인이 원하는 디렉토리에 가서 llama repository에서 clone해와야한다.

git clone

https://github.com/facebookresearch/llama

사실 그냥 아래 코드를 그냥 치면 된다

git clone https://github.com/facebookresearch/llama.git

clone이 완료되면 llama 폴더로 이동한다. cd llama

./download

download.sh 파일을 통해 매개변수 다운로드를 진행한다.

다운로드 파일을 실행하기 앞서서 권한을 주고 ./download.sh 명령어로 다운로드 파일 실행한다.

chmod 755 download.sh
./download.sh

해당 명령어를 실행하면 아래와 같이 “Enter the URL from email:”라는 문구가 나오는데 아까 메일로 받은 url을 여기에 복붙하면 된다.

📌 주의!! 마우스로 긁어서 ctrl+c 로 복사하자. 링크 복사로 하면 오류가 생긴다.

그러고 엔터를 치면 아래와 같은 안내 문구가 나오는데

원하는 모델을 다운로드 하면 된다. 근데 이때 원하는 모델을 띄어쓰기 없이 적으니까 오류가 발생해서(403 Forbidden) 하나하나 다운받으니까 해결되었다. 그래도 안되면 될때까지 다운로드 요청해서 새 url 받아서 하면 된다고 한다(according to github…)

실행 테스트

Meta 공홈을 통해 깃허브에서 다운받으면 example_chat_completion.py 랑 example_text_completion.py가 있는데 해당 파일로 테스트를 진행해볼 수 있다.

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir llama-2-7b-chat/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

아니면

torchrun --nproc_per_node 1 example_chat_completion.py --ckpt_dir llama-2-7b-chat/ --tokenizer_path tokenizer.model  --max_seq_len 512 --max_batch_size 6

요거는 text completion

torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir llama-2-7b/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4

실행 결과

HuggingFace통해 설치

hugging face에 들어가서 페이지 우측에 있는 …을 누르면 clone repository가 나온다.

clone repository를 누르면 아래와 같은 창이 나오는데 여기서 access token을 발급받고 git lfs를 다운받아야한다.

access token 발급

위 사진의 우측 상단을 보면 access token에 링크가 있는걸 확인할 수 있는데 해당 링크를 타고 들어가면 토큰을 발급받을 수 있다

git lfs 다운

apt-get install git-lfs

위 명령어를 입력하면 설치가 완료된다.

git lfs 사용 선언

git lfs install

git clone

git clone https://huggingface.co/meta-llama/Llama-2-7b-chat