ㅁ 개요
O 프로그램 소개
- 이번 내용은 최근 나온 따끈 따끈한 메타의 오픈소스인 라마3를 로컬 PC(윈도우10)에 설치하여 사용하는 방법에 대하여 알아보겠습니다.
O 사전 준비 사항
-윈도우 10 이상
-CPU i7 이상 권장
-메모리 16GB 이상 권장
-GPU가 있으면 좋으나 없어도 관계없음
즉, PC 또는 노트북 사양이 좋으면 좋겠으나, 좋지 않더라도 돌아는 감(단, 사양이 좋지 않으면 시간이 오래걸릴 수 있음)
O 진행 순서
진행 순서는 크게 아래와 같습니다.
1.ollama 프로그램 다운로드 및 설치
-로컬에서 llm을 쉽게 설치할 수 있도록 도와주는 프로그램인 ollama를 다운로드 후 설치합니다.
2.llama3 소형 모델 다운로드 및 설치
-최근 오픈소스로 공개한 llama3 중에서 여기서는 가장 작은 8b 모델을 다운로드 후 설치하여 사용합니다.(사이즈가 작지만 성능은 어마 무시합니다.)
3.챗봇 사용하기
-위의 1,2가 완료되면, chatGPT처럼 대화하면서 사용할 수 있습니다. 참고로 llama3는 chatGPT3.5의 성능을 낸다고 하니 작지만 여러모로 쓸모가 많은 녀석인것 같습니다.
1.아래 사이트에 접속 후 Windows > 'Download for Windows (Preview)' 를 클릭하여 올라마를 다운로드 합니다.
2. 아래와 같이 다운로드 후 파일을 더블클릭하여 설치 합니다.
3. 올라마 설치 후 컴퓨터의 오른쪽 하단에 아래와 같이 아이콘이 나타났는지 확인합니다.
4. 검색 > cmd > 명령 프롬프트 우클릭 > '관리자 권한으로 실행'을 클릭합니다.
5. 아래와 같이 cmd에서 원하는 경로로 이동(저는 C:\python 으로 이동했습니다.) 후 'ollma'를 입력하여 아래와 같이 나오면 정상적으로 올라마가 설치된 것입니다.
6. 다시 올라마 사이트로 가서 Models > llama3를 클릭합니다.
7. 최신 llm 모델 중에서 테스트로 가장 작은 8b 모델을 선택했습니다.(원하는 모델을 선택하셔도 되며, 다만 사이즈가 크므로 다운로드 하는데 시간이 다소 걸립니다.)
8.아래와 같이 모델을 설치할 명령(ollama run llama3:8b)을 복사합니다.
9. 복사한 명령을 cmd에 붙여넣기 합니다.
모델이 설치 되며, 다소 시간이 걸립니다.
success가 보이면 설치가 잘 된 것입니다.
10. 모델 내에서 어떤 명령이 있는지 살펴보기 위해 '/?'를 입력해 봅니다.
11. 모델의 정보를 보기 위해서 '/show'를 입력해 봅니다.
12. 모델의 세부 정보를 보기 위해서 '/show info'를 입력합니다.
아래와 같이 내가 설치한 모델(llama:8B)을 보여줍니다.
'/show modelfile' 입력 시 모델이 설치된 위치를 확인할 수 있습니다.
13. 저는 아래와 같은 위치에 기본으로 설치되었습니다.
14. 모델에 명령을 내리기 위해서는 '>>>' 뒤에 명령을 내리면 됩니다.
아래에서는 '너에 대해 소개해봐'를 영어로 물어 보았습니다.(llama3는 현재 한글보다는 영어를 더 잘 알아 듣습니다.)
15. 노트북 사양이 구려(?)서 좀 버벅였습니다.
구동 당시 CPU 약 70%, 메모리 약 60% 정도 먹었습니다.
16. 위의 자기소개 내용을 한국어로 번역해 달라고 했는데, 그럭 저럭 잘 나오고 있습니다.
17. 챗팅이 끝나고 빠져 나오려면 '/bye'를 입력해 줍니다.
그리고 현재 설치된 llm 목록을 보기 위해서는 모델에서 빠져나온 상태에서 'ollama list'를 입력해 주면 됩니다.
18. 마지막으로 llm을 사용하지 않는다면 아래와 같은 명령(ollama rm llama3:8b)으로 삭제해 줄 수 있습니다.
오늘은 여기까지이며, 댓글과 하트는 제가 이글을 지속할 수 있게 해주는 힘이 됩니다.
감사합니다.
'파이썬 AI 실습 > 메타의 라마3를 윈도우 PC에 설치하여 나만의 챗봇 사용하기' 카테고리의 다른 글
| 메타의 라마3 등 여러 AI챗봇들을 내 윈도우 PC에 간단하게 설치하여 챗봇 사용하기 (0) | 2024.05.15 |
|---|