ㅁ 개요
O 프로그램 소개
- 이번 내용은 최근 나온 따끈 따끈한 딥시크(DeepSeek)의 오픈소스 추론모델인 R1을 노트북(윈도우10)에 설치하여 사용하는 아주 간단한 방법에 대하여 알아보겠습니다.
아래 이전 글을 참고하시면 이해하는데 도움을 얻을 수 있습니다.
-메타의 라마3 PC에 설치하기
https://pagichacha.tistory.com/287
O 사전 준비 사항
-윈도우 10 이상
-CPU i7 이상 권장
-메모리 16GB 이상 권장
-GPU가 있으면 좋으나 없어도 관계없음
즉, PC 또는 노트북 사양이 좋으면 좋겠으나, 좋지 않더라도 돌아는 감(단, 사양이 좋지 않으면 시간이 오래걸릴 수 있음)
O 진행 순서
진행 순서는 크게 아래와 같습니다.
1.ollama 프로그램 다운로드 및 설치
-로컬에서 llm을 쉽게 설치할 수 있도록 도와주는 프로그램인 ollama를 다운로드 후 설치합니다.
2.deepseek-r1:7b 소형 모델 다운로드 및 설치
-최근 오픈소스로 공개한 딥시크 모델 중에서 여기서는 2번째로 작은 7b 모델(4.7GB)을 다운로드 후 설치하여 사용합니다.(가장 작은 모델은 1.5b(1.1GB) 입니다.)
3.챗봇 사용하기
-위의 1,2가 완료되면, chatGPT처럼 대화하면서 사용할 수 있습니다. 참고로 딥시크 R1 모델은 현재(2025.02.09) 추론기능을 무료로 사용할 수 있는 거의 유일한 모델로 다양한 테스트를 해보면 좋을 것으로 보입니다.
1.아래 사이트에 접속 후 'Download' 를 클릭하여 올라마를 다운로드 합니다.
2. 아래와 같이 다운로드 후 파일을 더블클릭하여 설치 합니다.
3. 올라마 설치 후 컴퓨터의 오른쪽 하단에 아래와 같이 아이콘이 나타났는지 확인합니다.
4. 검색 > cmd > 명령 프롬프트 우클릭 > '관리자 권한으로 실행'을 클릭합니다.
5. 아래와 같이 cmd에서 후 'ollma'를 입력하여 아래와 같이 나오면 정상적으로 올라마가 설치된 것입니다.
6.아래와 같이 명령어를 쳐줍니다.(딥시크 R1 7b 추론모델 설치)
모델이 설치 되며, 다소 시간이 걸립니다.(약 5~10분 소요)
success가 보이면 설치가 잘 된 것입니다.
>ollama run deepseek-r1:7b
7. 모델 내에서 어떤 명령이 있는지 살펴보기 위해 '/?'를 입력해 봅니다.
8. 모델의 정보를 보기 위해서 '/show'를 입력해 봅니다.
9. 모델의 세부 정보를 보기 위해서 '/show info'를 입력합니다.
아래와 같이 내가 설치한 모델의 아키텍쳐(qwen2, 알리바바 ai챗봇)를 보여줍니다.
'/show modelfile' 입력 시 모델이 설치된 위치를 확인할 수 있습니다.
10. 저는 아래와 같은 위치에 기본으로 설치되었습니다.
11. 모델에 명령을 내리기 위해서는 '>>>' 뒤에 명령을 내리면 됩니다.
아래에서는 '너가 누구인지 소개해봐'를 한글로 물어 보았습니다.
12. 노트북 사양에 따라 속도 차이가 많이 다를 수 있습니다.
위의 질의 시 딥시크가 소모하는 리소스는 CPU 약 50%, 메모리 약 5GB 정도 먹었습니다.
13. 챗팅이 끝나고 빠져 나오려면 '/bye'를 입력해 줍니다.
그리고 현재 설치된 llm 목록을 보기 위해서는 모델에서 빠져나온 상태에서 'ollama list'를 입력해 주면 됩니다.
14. 마지막으로 llm을 사용하지 않는다면 아래와 같은 명령(ollama rm deepseek-r1:7b)으로 삭제해 줄 수 있습니다.
오늘은 여기까지이며, 댓글과 하트는 제가 이글을 지속할 수 있게 해주는 힘이 됩니다.
감사합니다.