메타의 라마3 등 여러 AI챗봇들을 내 윈도우 PC에 간단하게 설치하여 챗봇 사용하기

ㅁ 개요

 

O 프로그램 소개

 

 - 이번 내용은 메타의 라마3 뿐만아니라 MS의 위저드, 이미지를 분석할 수 있는 라바 등 매우 다양한 오픈 소스 AI챗봇들을 내 PC(또는 노트북)에 한꺼번에 설치하여 멀티로 AI챗봇을 사용하는 방법에 대하여 알아보겠습니다.

 

 

 

O 사전 준비 사항

-윈도우 10 이상

-CPU i7 이상 권장

-메모리 16GB 이상 권장

-GPU가 있으면 좋으나 없어도 관계없음

즉, PC 또는 노트북 사양이 좋으면 좋겠으나, 좋지 않더라도 돌아는 감(단, 사양이 좋지 않으면 시간이 오래걸릴 수 있음)

 

 

 

O 진행 순서

 

진행 순서는 크게 아래와 같습니다.

 

1.Msty앱 다운로드 및 설치

 -로컬에서 llm 모델들을 간단하게 실행하고, 사용방법이 간단한 채팅 그래픽 인터페이스를 제공하는 msty를 다운로드 후  설치합니다.

 

 

2.Msty내에서 사용하고 싶은 llm 다운로드 및 설치

 -Msty내에 사용 가능한 다양한 llm 모델이 있으며, 이 중 설치하여 사용하고 싶은 llm 모델을 여러개 설치해 봅니다.

 

 

3.각 AI챗봇 다양한 기능 사용해보기

 -위의 1,2가 완료되면, Msty내에 설치된 llm들을 해당 llm이 보유한 기능을 사용해 보면서 테스트 해봅니다. GPU가 없으면 속도가 많이 느리지만, 노트북 등에 간단하게 설치하여 사용해 볼 수 있으므로 쉽고, 빠르게 테스트 해보기 좋은 것 같습니다.

 

 

---

 

 

1.아래와 같이 구글검색에서 'msty'로 검색 후 나오는 화면에서 "msty.app"를 클릭합니다.

 

 

 

2. 아래와 같이 다운로드 버튼을 누르면 운영체제별로 선택할 수 있는데, 자신의 환경에 맞는 것을 선택 후 다운로드 합니다. (저는 윈도우10, no GPU인데, "Windows x64 with GPU + CPU"를 선택하였습니다.)

 

 

3.참고로 아래는 "장치관리자"에서 확인한 저의 디스플레이이며, 기본적으로 Nvida GPU(cuda)를 사용하고 있지 않습니다.(즉, GPU가 없습니다.)

 

 

 

 

4. 다운로드된 파일을 더블클릭하여 설치합니다.

5. 만일 아래와 같이 나온다면 '실행'을 눌러 줍니다.

 

 

6. 아래와 같이 화면이 나타나면 'SETUP LOCAL TEXT AI'를 클릭합니다.

 

 

 

7. 아래 화면에서 왼쪽 하단의 버튼을 클릭합니다.

 

 

8. 아래 화면과 같이 설치하고자 하는 AI챗봇을 고른 후 다운로드 버튼(아래 화살표)을 클릭합니다.

(저는 일단 라마3를 선택하였습니다.)

 

 

9. 다운로드 버튼을 클릭하면 AI챗봇 별로 설치가능한 버전과 용량을 보여주는데, 저는 "install Llama 3 8B Instruct"를 선택 후 설치하였습니다.

 

 

 

10.아래와 같이 조금 기다리면 다운로드 및 설치가 완료됩니다.

('1/5'의 의미는 '라마3가 5가지 설치 종류가 있는데 1개가 설치되었다'라는 의미입니다.)

 

 

11. 기본적으로 설치된 AI챗봇이 선택되어 있지만, 제대로 선택되어 있는지 다시 한번 확인 합니다. (화면 아래 가운데 쯤 보이는 콤보박스를 선택해 주시면 됩니다. 저는 추가로 "WizardLM2 7B와 LLaVa 7B v1.6"을 설치하였습니다.)

 

 

 

 

 12. 라마3에게 질문하기 전 제 노트북의 cpu는 7%, 메모리는 39% 정도를 사용하고 있습니다. 즉 현재는 거의 자원을 사용하고 있지 않습니다.

 

 

 

 13. 라마3에게 질문(who are you)을 하고 라마3가 답변하고 있을 때 제 노트북의 자원 사용률은 cpu가 거의 100%, 메모리는 거의 70%까지 사용합니다. 즉 GPU가 없으면 돌아가긴 하지만 노트북이 매우 힘들어 합니다.(속도가 느립니다. ㅠㅠ)

 

 

 

 

14. 아래와 같이 왼쪽 상단에 "New Chat"를 누르면 새로운 창으로 채팅을 시작할 수 있습니다.

 

 

15. 아래와 같이 오늘쪽 상단에 "Add Split Chat"를 누르면 여러개의 AI챗봇을 대상으로 동일한 질의에 대해 답변을 받아 볼 수 있으며, 이 중 더 나은 답변을 선택하면 됩니다.

 

 

 

16. 아래에서 저는 라마3와 MS 위저드를 선택하여 질문을 해 보았습니다. 아래 그림처럼 "Sync"를 체크해 주어야 동일한  하나의 질문에 두개의 AI챗봇이 동시에 답변을 생성하여 대답합니다.

 

 

 

 

 

 17. 동일한 질문을 2개의 AI챗봇에게 물어보았으나, 라마3가 훨씬 빨리 답변을 해주고 있습니다. 이는 라마3가 더 성능이 우수하고, 빠르고, 리소스가 작은 곳에서도 사용하기에 효과적이라는 것을 알려주고 있습니다.

 

 

 

 

 18.라마3가 답변을 마치고 한참 후(약3~5분 후)에 MS의 위저드가 답변하였습니다.

 

 

 

 19.이번에는 이미지를 분석할 수 있는 라바 llm을 사용해 보겠습니다. 아래와 같이 이미지 업로드 버튼이 있습니다.

 

 

 

 

 20. 구글에서 '강아지'로 검색 후 왼쪽 하단의 강아지 이미지를 다운로드 받아서 라바에 올려 보겠습니다.

 

 

 

21. 이미지를 라바에 올리기 전에 질의를 영어로 번역하기 위해서 저는 '파파고'를 이용하였습니다.

 

 

 22. 아래와 같이 (1)강아지 이미지 업로드 후 (2)파파고에서 얻은 영문 질의를 복사/붙여넣기하고 엔터를 누릅니다.

그러면 오른쪽 하단에 " ... " 로 나오는데 답변을 생성하는 중입니다.

 

 

 

 

 23. 여기서 GPU가 없는 경우 답변이 오기까지 시간이 많이 걸리게 됩니다. 저는 아래와 같이 답변이 생성되었습니다.

 

 

 24. 파파고로 복/붙하여 번역해 보니 꽤 정확하게 알아 보는 것 같습니다.

 

 

 

 

 

 

 25. 이번에는 아래의 간단한 산수문제를 풀 수 있는지 테스트해 보겠습니다.

 

 

 

25. 조금 기다리면 아래와 같이 답변을 생성하였습니다.

 

 

 

 26. 파파고로 확인해 보았는데, 답변이 조금 이상합니다. 답은 2인데, 4를 답으로 알고 있습니다.

아직까지 이미지에 대한 분석 및 수치 계산 등은 완벽하지 않은 것 같습니다.

 

 

 

 

 

 27. 참고로 코파일럿에게 동일한 문제의 이미지 업로드 후 물어 보았는데, 정확하게 대답하였습니다.

아무래도 아직까지는 코파일럿이 대세인것 같습니다.

 

 

 

 

 

오늘은 여기까지이며, 댓글과 하트는 제가 이글을 지속할 수 있게 해주는 힘이 됩니다.

 

 

 

감사합니다.