파기차차

ㅁ 개요 O 프로젝트 소개   - 이번 글은 이전글(메타의 라마(llama) 파인튜닝(전문가GPT) 하기 - 4. 다운로드한 튜닝 모델파일 사용하기)에 이은 6번째 마지막 글로 이전글에서 다운로드한 튜닝 모델을 사용하는데 실패하여 이번에는 구글 colab에서 colab의 자원을 이용하여 서버를 띄우고 그 서버에 접속하여 채팅하는 방법에 대하여 알아보겠습니다.  O 완성된 프로그램 실행 화면   - 최종 완성된 프로그램의 결과화면은 아래와 같습니다.아래 화면에서와 같이 코드를 실행하면 공개 url이 나오는데, 이 공개 url로 접속하면 AI챗봇 대화창이 나오고 이곳에서 ai에게 질의/응답을 하시면 되겠습니다.      ㅁ 세부 내용 O 완성된 소스 소스파일 : 소스파일 이름은 없음(그냥 전체 복사 후 구글..

ㅁ 개요 O 프로젝트 소개   - 이번 글은 이전글(메타의 라마(llama) 파인튜닝(전문가GPT) 하기 - 3. colab에서 모델 튜닝 및 다운로드하기)에 이은 5번째 글로 이전글에서 다운로드한 튜닝 모델을 사용하여 파이썬으로 ai챗봇을 만드는 방법에 대하여 알아보겠습니다.이를 응용하면 우리는 기업에서도 기업 내부자료의 유출을 걱정할 필요없이 폐쇄망(인터넷X)에서도 AI챗봇을 사용할 수 있게 되어 업무 효율성을 크게 높일 수 있을 것입니다.  O 완성된 프로그램 실행 화면   - 조각 모델들을 모두 다운로드 하였으나, 실제 구동하는데 실패하였습니다.모델을 로드하고 실행하기 위해서는 엄청난 고 사양이 필요하며, 일반 PC나 노트북에서는 사실상 불가능 합니다. ㅠㅠ   ㅁ 세부 내용 O 완성된 소스 아래..

ㅁ 개요 O 프로젝트 소개   - 이번 글은 이전글(메타의 라마(llama) 파인튜닝(전문가GPT) 하기 - 2.허깅페이스 준비하기)에 이은 4번째 글로 구글 colab에서 기본모델에 기능을 추가하는 형태의 튜닝하는 방법 및 튜닝한 파일을 구글 클라우드 서버 -> 로컬PC로 다운로드 하는 방법을 알아보겠습니다.    O 주요 내용    1. 모델 로드에 필요한 모듈을 설치해 줍니다.   2.간단한 데이터(데이터셋)를 준비합니다. 3.데이터를 로드합니다. 4.허깅페이스에 로그인 합니다.  5.라마2 모델을 로드하고 미세조정에 필요한 모듈(peft)을 설치합니다.    6.모멜을 미세 조정해 줍니다. 7.미세조정된 모델을 서버(구글 클라우드 서벗)에 저장합니다.  8.서버에 튜닝(미세조정)된 모델이 잘 만들..

ㅁ 개요 O 프로젝트 소개   - 이번 글은 이전글(메타의 라마(llama) 파인튜닝(전문가GPT) 하기 - 1.구글 colab 준비하기)에 이은 3번째 글로 허깅페이스에 오픈된 AI모델 중 하나인 라마2를 사용하는 방법을 알아보겠습니다. 여기서는 허깅페이스의 라마모델에 접근할 수 있는 엑세스 토큰을 발급받는 방법과 모델사용을 위해 동의하는 방법에 대해 살펴보겠습니다.    O 허깅페이스에서 엑세스 토큰 발급 방법 0.허깅페이스에 계정이 없는 분들은 계정생성 후 미리 로그인 한 후 아래를 진행해 주시기 바랍니다.   1. 구글에서 아래와 같이 검색 후 'Hugging Face'를 클릭합니다.  2.아래 사이트에 접속합니다.https://huggingface.co/settings/tokens Hugging..

ㅁ 개요 O 프로젝트 소개   - 이번 글은 이전글(메타의 라마(llama) 파인튜닝(전문가GPT) 하기 - 0.소개)에 이은 2번째 글로 모델 튜닝을 위해 구글 colab을 사용하는 방법에 대해 살펴보겠습니다.     O 주요 내용  1.구글계정으로 로그인한 상태에서 구글에서 아래와 같이 검색 후 구글 colab을 클릭합니다.  2. 'Open Colab'을 클릭 합니다.   3. colab에 접속되었고, 아래와 같이 '새 노트'를 클릭합니다.    4. 런타임 > '런타임 유형 변경' 을 클릭 합니다.  5. 구글의 전용 장치인 'TPU v2'를 선택 후 '저장'을 클릭합니다.   6. 파일의 제목을 알맞게 변경합니다. (저는 'ai모델튜닝.ipynb'로 하였습니다.)  7. 파일 > 저장 으로 저장..

ㅁ 개요 O 프로젝트 소개  - 이번 프로젝트는 파이썬+허깅페이스+구글colab+메타 라마2(또는 라마3)를 이용하여 파인튜닝하는 방법을 알아보겠습니다.여기서 얘기하는 파인튜닝이란 챗지피티의 'GPT 탐색'에서 볼 수 있는 전문가GPT와 비슷한 것으로 예를 들어 중학교 1학년 교재를 모델에 학습시킨 후 중학교 1학년 수학전문가 AI챗봇 만들고, 이 챗봇에 중1 수학문제를 물어보면 챗봇이 풀어서 답변해 주는 것이라고 생각하면 되겠습니다.    O 사전 준비 사항우리는 구글 colab을 사용하여 작업할 것이기 때문에 구글계정이 필요합니다. 없으신 분들은 구글계정을 만들어 두시기 바랍니다. 구글 colab은 집의 PC 및 노트북에서 구동할 수 없는 고사양이 필요한 모델 튜닝 등의 작업을 손쉽게 할 수 있으므로..