GPT4ALL로 메타 라마3.1 파인튜닝 하기
ㅁ 개요
O 프로젝트 소개
- 이번 글은 GPT4ALL이란 프로그램(llm 로컬 실행 프로그램)으로 메타의 라마3.1을 간단하게 튜닝하는 방법에 대해 알아보겠습니다.
O GPT4ALL로 메타 라마3.1 튜닝 하기
1. 아래 사이트에 접속하여 gpt4all을 다운로드 합니다.
GPT4All
Run AI Locally: the privacy-first, no internet required LLM application
www.nomic.ai
2. 다운로드 한 파일을 모두 기본(디폴트)으로 설치합니다.
3. 아래 화면에서 'No'를 선택합니다.
4.설치 완료 후 프로그램을 실행하면 아래와 같이 나오는데, 여기서 왼쪽의 'Models'를 클릭합니다.
5. 사용할 llm모델을 추가해 줘야 하므로, 아래와 같이 'Add Model'을 클릭합니다.
6.저는 PC에서 돌릴예정이므로 가장 작은 모델인 'Llama 3 8B Instruct'를 다운로드 하였습니다.(약 4.5GB 정도됨)
7. 모델의 다운로드 및 설치가 완료되었습니다.
8. 아래 로컬 경로에서 다운로드 받은 파일을 확인할 수 있습니다.
9. 이제 실제 AI챗봇과 채팅하기 위해서 아래 화면에서 순서대로 클릭합니다.
'Chats' > 설치한 모델 선택 > 'New Chat' 클릭
10.실제 채팅 시 작업관리자를 보면 CPU를 굉장히 많이 잡아 먹고있는 걸 볼 수 있습니다.
11.라마3.1에 튜닝을 하기 위해 LocalDocs > Add Doc Collection을 클릭합니다.
12. 아래와 같이 aa폴더를 만들고 그 안에 aa.txt 파일을 만들었습니다.
그리고 여기에 아래와 같이 문장을 넣어 주었습니다.
13.다시 GPT4ALL 프로그램 화면(' Add Doc Collection ')에서 아래와 같이 이름 입력 및 폴더(aa)를 선택하고 'Create Collection'을 클릭합니다.
14.'READY'라고 뜨면 제대로 학습이 된 상태입니다.
15. 이제 GPT4ALL화면의 'Chats'에서 우측 상단의 'LocalDocs'를 클릭합니다.
16.위에서 만들었던 로컬독인 pygichacha를 체크하고, 내가 aa.txt에 올린 나만의 내용을 ai챗봇이 잘 이해하고 있는지 확인하기 위하여 '파기차차의 이름이 뭐야' 라고 물어 보았습니다.
그런데, 대답이 거의 비슷하긴 한데, '홍길동'으로 대답하고 있습니다.(실제 올린 파일의 내용은 홍길도임)
17. 아래와 같이 집요하게 물어보니 결국 홍길도라고 인정하였습니다. ^^;;
ㅁ 정리
O 우리가 배운 내용
이를 응용한다면, 특정 파일의 내용을 학습시켜 다양하게 활용이 가능할 것으로 보입니다. 그것도 무료로 말이죠..
오늘은 여기까지이며, 위의 내용이 유익하셨다면, 광고 한번씩만 클릭 부탁드립니다.
감사합니다.