로컬(내 PC)에서 LLM 실행하기 - Ollama + LLM 모델 설치

내 PC에서 LLM을 실행할 수는 없을까?

당연히 가능하다. 그리고 생각보다 빠르다!!

Ollama 이라는 게 있는데 제미나이가 아래와 같이 설명해준다 ㅎ

Ollama: 로컬에서 대규모 언어 모델 사용하기
Ollama는 최근 주목받는 흥미로운 프로젝트입니다. 이 프로젝트는 Llama 2, Mistral, Gemma 등 대규모 언어 모델(LLM)을 로컬에서 실행할 수 있는 프레임워크를 제공합니다. Ollama를 사용하면 다음과 같은 이점을 얻을 수 있습니다.
비용 절감: 클라우드 서비스에서 LLM을 실행하는 것은 비용이 많이 들 수 있습니다. Ollama를 사용하면 로컬 머신에서 모델을 실행하여 비용을 절감할 수 있습니다.개인정보 보호 강화: Ollama를 사용하면 모델을 로컬에서 실행하므로 데이터를 클라우드에 업로드할 필요가 없습니다. 이는 민감한 데이터를 처리할 때 특히 유용합니다.빠른 성능: Ollama는 모델을 로컬에서 실행하므로 클라우드 서비스에 연결하는 데 소요되는 시간을 줄일 수 있습니다.

 

https://ollama.com/ <-- 접속

자연스럽게 "Download"를 클릭해주고 설치해준다. 나는 윈도우를 사용하기에 윈도우 버젼으로 ㄱㄱ

 

설치가 완료되면 아래와 같이 양이 뜨있는 모습을 볼 수 있다 ㅎㅎ

사용 가능한 LLM 모델은 https://ollama.com/library 여기에서 확인 가능하나 일반적으로 llama2, mistral, gemma(가벼운거)를 추천해 봅니다 ㅎ

사용 방법을 https://github.com/ollama/ollama 깃 허브에 가면 간단하게 알 수 있다.

한번 사용해 보자

1. 윈도우키+R, cmd 실행

2. LLM 실행 : ollama run llama2

  llama2 모델을 실행한다 만약 모델이 다운되어 있지 않다면 모델을 알아서 다운 받아 준다.

3. 이제 마음껏 이용하시면 됩니다~

 

4. 결론

장점	단점
1.LLM을 인터넷 연결과 상관없이 마음대로 쓸 수 있다 2.LLM 사용할 때 추가 비용이 들지 않는다. 3.남들은 관심이 없어서 안 하는 짓을 나는 할 수 있다고 자랑할 수 있다. 4.외장 그래픽 카드가 없어서도 나름 쓸만한 속도로 대답한다	1. 대부분의 LLM 모델이 영어만 주로 쓴다;;;   - 이 부분은 번역기 api를 이용해서 개선해 볼까 함 2. CPU 부하가 큰 편이라 다른 기능과 함께 쓰기가 꺼려짐   - 그래도 많이 답답한 편은 아님

 

주요 ollama 명령어

ollama list (설치된 LLM 확인)

ollama rm llama2 ( 설치된 llama2  LLM 삭제)