Chapter 1~15 를 따라오면서, 우리는 AI 와 함께 일하는 거의 모든 방법을 배웠습니다. 그런데 이 모든 도구에는 하나의 공통점이 있었습니다 — 인터넷에 연결되어 있어야 했다는 것입니다.
ChatGPT 에 질문을 입력하면, 그 내용은 OpenAI 의 서버로 전송됩니다. NotebookLM 에 문서를 올리면, 그 문서는 Google 서버에서 처리됩니다. AI Studio, Dify, Suno — 모두 마찬가지입니다. 여러분이 입력한 내용이 외부 서버로 나간다는 뜻입니다.
대부분의 업무에서는 이것이 문제가 되지 않습니다. 하지만 인사 평가 자료, 급여 명세, 감사 보고서, 학생 개인정보, 연구 데이터, 특허 자료 — 이런 기밀 문서를 AI 에 입력하는 것은 꺼려질 수밖에 없습니다. "이 자료가 외부 서버에 저장되면 어쩌지?"라는 걱정이 항상 따라붙습니다.
이번 장은 그 걱정을 완전히 해결합니다. AI 가 내 컴퓨터 안에서 직접 동작하게 만드는 것입니다. 인터넷이 끊어져도 작동하고, 내가 입력한 모든 내용이 내 컴퓨터 밖으로 절대 나가지 않습니다. 완전 무료입니다.
먼저 "로컬 AI"가 무엇이고, 왜 필요한지부터 이야기해 보겠습니다. "로컬(local)"이란 "내 컴퓨터 안에서"라는 뜻입니다. "클라우드(cloud)"는 "인터넷 너머의 외부 서버에서"라는 뜻입니다.
| 한계 | 구체적 상황 |
|---|---|
| 데이터 외부 전송 | 입력한 질문·업로드한 문서가 외부 서버(미국·해외)로 전송됨 |
| 기밀 문서 유출 우려 | 인사 평가·급여·감사 자료 등 기밀 정보를 AI 에 입력하기 꺼려짐 |
| 유료 구독 비용 | ChatGPT Plus 월 $20, Claude Pro 월 $20 등 개인·부서별로 비용 발생 |
| 인터넷 필수 | 인터넷이 끊기면 사용 불가. 오프라인 환경에서는 AI 를 쓸 수 없음 |
| 외부 서비스 의존 | 서버 장애·정책 변경 시 업무가 중단될 위험 |
| 한계 | 로컬 AI 로 해결 |
|---|---|
| 데이터 외부 전송 | 모든 처리가 내 컴퓨터 안에서만. 데이터가 외부로 전혀 나가지 않음 |
| 기밀 문서 유출 우려 | 기밀 문서·개인정보를 외부 유출 걱정 없이 AI 로 분석 |
| 유료 구독 비용 | 완전 무료. 유료 구독 없이 무제한 사용 |
| 인터넷 필수 | 인터넷 없이도 동작. 오프라인 환경에서도 AI 사용 가능 |
| 외부 서비스 의존 | 내 컴퓨터에서 독립적으로 동작. 외부 서비스 장애에 영향 없음 |
클라우드 AI 는 "은행 대여 금고"와 같습니다. 보관은 안전하지만, 귀중품(데이터)을 은행(외부 서버)에 맡겨야 합니다. 은행이 문을 닫거나, 누군가 열어볼 가능성이 (이론적으로) 있습니다.
로컬 AI(Ollama)는 "집에 설치한 개인 금고"와 같습니다. 귀중품이 절대 집 밖으로 나가지 않습니다. 열쇠는 나만 가지고 있고, 정전(인터넷 끊김)에도 금고 안의 물건은 안전합니다.
Ollama(올라마)는 오픈소스 AI 모델을 내 컴퓨터에 설치하고 실행하는 도구입니다.
Windows·Mac·Linux 모두 지원하며, 설치 후 명령어 한 줄이면 AI 모델이 다운로드되고 실행됩니다.
| 항목 | 내용 |
|---|---|
| 핵심 기능 | 오픈소스 AI 모델을 내 컴퓨터에 설치·실행하는 도구 |
| 지원 운영체제 | Windows · Mac · Linux 모두 지원 |
| 설치 난이도 | ● 쉬움 — 설치 파일 다운로드 → 더블 클릭으로 완료 |
| AI 실행 방식 | 설치 후 명령어 한 줄이면 AI 모델 다운로드·실행 |
| 인터넷 필요 여부 | 최초 모델 다운로드 시에만 필요. 이후에는 완전 오프라인 동작 |
| 비용 | 완전 무료 — 모델 다운로드·사용 모두 무료 |
Ollama 에서 설치할 수 있는 대표적인 오픈소스 AI 모델을 정리합니다. 모델마다 특징이 다르므로, 용도에 따라 선택하세요. 그리고 새로운 모델이 계속 나타나니 꾸준한 관심이 필요합니다.
| 모델명 (개발사) | 특징 | 필요 RAM | 추천 용도 |
|---|---|---|---|
| Llama 3.1 (Meta) |
범용 대화·분석. 오픈소스 대표 모델. 고성능, 균형 잡힌 답변 |
16GB 이상 |
일반 업무 보조, 문서 분석, 글쓰기 |
| Gemma 4 (Google) |
가벼운 크기, 빠른 속도. Google 기술 기반. 효율적 처리 |
8GB 이상 |
빠른 응답 필요 시, 저사양 PC, 간단한 질문 |
| Mistral / Mixtral (유럽 오픈소스) |
코딩·분석에 강점. 유럽 기반 오픈소스. 기술적 질문에 우수 |
16GB 이상 |
데이터 분석, 코딩 보조, 기술 문서 처리 |
| Phi-4 (Microsoft) |
초경량 모델. 저사양 PC 에서도 실행. 놀라운 효율성 |
4GB 이상 |
저사양 노트북, 간단한 요약·번역, 오프라인 메모 도우미 |
| Qwen 3.5 (Alibaba) |
다국어 지원. 한국어 성능 우수. 동아시아 언어에 강점 |
16GB 이상 |
한국어 문서 처리, 번역, 한국어 글쓰기 |
Ollama 는 "USB 에 담아 다니는 AI"와 같습니다. 인터넷 카페(클라우드)에 갈 필요 없이, USB 를 꽂으면(Ollama 를 실행하면) 내 컴퓨터에서 바로 AI 를 쓸 수 있습니다.
모델 선택은 "앱 선택"과 같습니다. 가벼운 앱(Phi-4)은 오래된 폰에서도 돌아가고, 무거운 앱(Llama 3.1)은 최신 폰에서 더 잘 돌아갑니다.
Ollama 의 설치와 실행은 놀라울 만큼 간단합니다. 3 단계면 내 컴퓨터에서 AI 가 동작합니다.
| 단계 | 할 일 | 구체적 방법 | 비유 |
|---|---|---|---|
| Step 1. Ollama 설치 |
설치 파일 다운로드·실행 |
ollama.com 접속 → 운영체제(Windows/Mac)에 맞는 파일 다운로드 → 더블 클릭으로 설치 완료 |
앱스토어에서 앱을 설치 하는 것 |
| Step 2. 모델 다운로드 |
AI 모델 다운로드 |
터미널(명령 프롬프트) 열기 → ollama pull llama3.1 입력 → AI 모델 자동 다운로드 (약 4~5GB, 수 분 소요) |
앱을 처음 실행하면 업데이트가 다운로드되는 것 |
| Step 3. 실행 |
AI 와 대화 시작 |
ollama run llama3.1 입력 → AI 대화 즉시 시작 → 한국어로 질문하면 한국어로 답변 → 인터넷 없이도 동작 |
앱을 열고 바로 사용 하는 것 |
| 명령어 | 의미 |
|---|---|
| ollama pull llama3.1 | Llama 3.1 모델을 다운로드하라 (최초 1 회만) |
| ollama run llama3.1 | Llama 3.1 모델을 실행하고 대화를 시작하라 |
| ollama list | 현재 설치된 모델 목록을 보여줘 |
이 3 줄이 전부입니다. "터미널"이나 "명령 프롬프트"가 낯설게 느껴질 수 있지만, 실제로는 검색창에 글자를 입력하는 것과 동일합니다. 빈 화면에 ollama run llama3.1 이라고 치면, AI 가 대화를 시작합니다.
로컬 AI 가 모든 면에서 클라우드 AI 보다 뛰어난 것은 아닙니다. 각각 강점이 다르므로, 상황에 맞게 선택하는 것이 핵심입니다.
| 구분 | 클라우드 AI (Ch.1~15) |
로컬 AI (Ch.16 Ollama) |
|---|---|---|
| 데이터 보안 | 외부 서버로 전송됨 | 내 컴퓨터에서만 처리 ✓ |
| 비용 | 월 2~3 만 원 구독료 | 완전 무료 ✓ |
| 인터넷 필요 | 필수 (항상 연결) | 불필요 (오프라인 가능) ✓ |
| 응답 품질 | ★★★ (최고 수준) | ★★~★★★ (모델에 따라) |
| 응답 속도 | 빠름 (서버 GPU) | PC 사양에 따라 다름 |
| 추천 용도 | 일반 업무·최고 성능 분석 이미지·영상·음악 생성 |
기밀 문서·보안 환경 비용 절감·오프라인 |
클라우드 AI = "대형 도서관" — 자료가 방대하고 사서(AI)가 뛰어나지만, 내 일기장(기밀 문서)을 도서관에 가져가기는 꺼려짐
로컬 AI = "내 서재" — 장서(AI 모델)는 도서관보다 적지만, 누구에게도 보여주지 않아도 되고, 밤에 혼자 조용히 읽을 수 있음(오프라인)
최선의 전략: 일반 업무는 대형 도서관(클라우드), 기밀 문서는 내 서재(로컬)
로컬 AI 의 가장 강력한 활용은 "클라우드 AI 에 절대 입력하면 안 되는 자료"를 AI 로 분석하는 것입니다.
| 부서 | 활용 시나리오 | 명령 예시 |
|---|---|---|
| 인사처 | 인사평가 자료를 부서별로 요약하고 핵심 성과 지표를 표로 정리 |
"이 인사평가 자료를 부서별로 요약하고 핵심 성과 지표를 표로 정리해줘" |
| 감사실 | 감사 보고서에서 지적 사항을 유형별로 분류하고 중요도를 매기는 작업 |
"이 감사 보고서에서 지적 사항을 유형별로 분류하고 중요도를 매겨줘" |
| 재무처 | 재무제표를 분석해서 전년 대비 변동이 큰 항목을 추출 |
"이 재무제표를 분석해서 전년 대비 변동이 큰 항목 10 개를 추출해줘" |
| 연구처 | 연구 데이터를 요약하고 통계적 이상치가 있는지 확인 |
"이 연구 데이터를 요약하고 통계적 이상치가 있는지 확인해줘" |
| 항목 | 클라우드 AI | 로컬 AI (Ollama) |
|---|---|---|
| 1 인 월 비용 | ChatGPT Plus $20 (약 2.7 만 원) |
0 원 |
| 10 인 연간 비용 | 약 324 만 원 | 0 원 |
| 50 인 연간 비용 | 약 1,620 만 원 | 0 원 |
| API 호출 비용 | 사용량에 따라 추가 과금 |
발생하지 않음 |
직원 10 명이 ChatGPT Plus 를 구독하면 연간 약 324 만 원입니다. Ollama 라면 0 원입니다.
물론 클라우드 AI 의 성능이 더 뛰어나므로, 중요한 분석은 클라우드로, 일상적 업무 보조는 로컬로 — 혼합 전략이 가장 비용 효율적입니다.
| 상황 | 활용 방법 |
|---|---|
| 인터넷 없는 환경 | 네트워크 차단 보안 구역에서도 AI 사용 가능. 외부망 차단 사무실, 보안 연구실 등 |
| 출장·이동 중 | 비행기, 기차 등 인터넷이 불안정한 환경에서도 AI 로 문서 분석·요약 가능 |
| 서버 장애 시 | 외부 AI 서비스가 장애 상태여도 내 컴퓨터의 AI 는 정상 작동. 업무 연속성 확보 |
Chapter 1~15 와 동일한 직원/학생 분리 구조입니다. 로컬 AI 고유의 강점(보안·오프라인)에 초점을 맞춥니다.
| 업무 상황 | 보안 등급 | 명령 예시 |
|---|---|---|
| 인사 — 직원 평가 자료 분석 |
🔴 기밀 | "이 인사평가 자료를 부서별로 성과 등급 분포를 표로 정리해줘. 개선 필요 부서 3 곳을 추출해줘." |
| 감사 — 내부 감사 보고서 요약 |
🔴 기밀 | "이 내부 감사 보고서에서 지적 사항을 심각도별로 분류하고 시정 조치 기한을 표로 정리해줘." |
| 재정 — 비공개 예산안 검토 |
🟡 대외비 | "이 예산안 초안을 검토하고 전년 대비 증감이 큰 항목 10 개를 사유와 함께 정리해줘." |
| 행정 — 비공개 전략 보고서 초안 |
🟡 대외비 | "이 중장기 발전계획 초안을 핵심 전략 5 가지로 요약하고 각 전략의 강점·약점을 분석해줘." |
| 전공 분야 | 보안 등급 | 명령 예시 |
|---|---|---|
| 경영/경제 — 미발표 연구 데이터 |
🟡 비공개 | "이 설문 원본 데이터를 분석해서 주요 변수 간 상관관계를 정리해줘. 이상치가 있으면 표시해줘." |
| 호텔/관광 — 고객 개인정보 포함 리뷰 |
개인정보 | "이 고객 리뷰 데이터에서 개인 식별 정보를 제외하고 감성 분석 요약을 만들어줘." |
| 인문/사회 — 미발표 인터뷰 녹취록 |
🟡 비공개 | "이 인터뷰 녹취록에서 핵심 발언을 주제별로 분류하고 코딩 프레임워크를 제안해줘." |
| 미술/디자인 — 작품 계약서 검토 |
🟡 대외비 | "이 전시 계약서 초안을 작가 입장에서 불리한 조항이 있는지 검토하고 표로 정리해줘." |
| 통계 — IRB 미승인 단계 원본 데이터 |
🔴 기밀 | "이 연구 원본 데이터의 기술통계량(평균·표준편차)을 변수별로 계산해서 표로 만들어줘." |
Chapter 2~15 에서 배운 수정 전략이 로컬 AI 에도 동일하게 적용됩니다. 다만, 로컬 AI 는 클라우드 AI 보다 성능이 낮을 수 있으므로, "모델 선택"과 "질문 최적화"가 특히 중요합니다.
| 문제 상황 | 원인 | 해결 방법 |
|---|---|---|
| 응답이 너무 느리다 | 모델이 PC 사양에 비해 너무 큼 |
더 작은 모델로 교체: Llama 3.1 → Gemma 4 또는 Phi-4 |
| 답변 품질이 클라우드 AI 보다 떨어진다 |
로컬 모델의 성능 한계 |
질문을 더 구체적으로. 또는 한국어보다 영어로 질문하면 답변 품질이 올라가는 경우 있음 |
| 한국어 답변이 어색하다 |
모델이 한국어를 충분히 학습하지 못함 |
Qwen 3.5(한국어 성능 우수)로 교체. 또는 "한국어로 답변해줘"를 명시적 추가 |
| 모델 다운로드가 너무 오래 걸린다 |
모델 파일 크기가 크거나 인터넷이 느림 |
작은 모델(Phi-4: ~2GB)부터 시작. 대형 모델은 Wi-Fi 환경에서 다운로드 |
| 컴퓨터가 매우 느려진다 |
RAM 이 부족하여 스왑 메모리 사용 중 |
다른 프로그램을 닫고 Ollama 만 실행. 또는 더 작은 모델로 교체 |
| 특정 작업에서 오류가 발생한다 |
모델이 해당 작업을 잘 처리하지 못함 |
다른 모델로 전환하여 같은 작업 재시도. Llama 가 안 되면 Mistral 로, 등 |
이제 직접 해볼 차례입니다. 이 책의 마지막 실습입니다.
사전 준비: ollama.com 에서 운영체제에 맞는 설치 파일을 미리 다운로드해 주세요. 모델 다운로드에 시간이 걸리므로, Wi-Fi 환경에서 미리 설치를 완료하면 원활합니다.
| 항목 | 내용 |
|---|---|
| 과제 | Ollama 를 설치하고, AI 와 첫 대화를 해보세요 |
| 실습 순서 |
① ollama.com 접속 ② 운영체제에 맞는 설치 파일 다운로드 ③ 설치 완료 후 터미널(명령 프롬프트) 열기 ④ ollama pull llama3.1 입력 (모델 다운로드) ⑤ ollama run llama3.1 입력 (AI 대화 시작) ⑥ "오늘 날씨에 맞는 점심 메뉴를 추천해줘" 등 간단한 질문으로 동작 확인 |
| 포인트 | 내 컴퓨터에서 AI 가 동작하는 것을 직접 확인하세요. 터미널이 낯설어도, 명령어 2 줄이면 됩니다. |
| 시간 | 5 분 (다운로드 시간 제외) |
| 항목 | 내용 |
|---|---|
| 준비물 | 기밀 수준의 테스트 문서 (실제 기밀 문서 또는 모의 문서) |
| 과제 | 인터넷을 끊고 로컬 AI 로 문서를 분석해 보세요 |
| 실습 순서 |
① 인터넷 연결을 끊기 (비행기 모드) ② Ollama 가 오프라인에서도 동작하는지 확인 ③ 테스트 문서 내용을 AI 에 입력: "이 내용을 3 가지로 요약해줘" ④ "핵심 지적 사항을 표로 정리해줘" ⑤ 네트워크 모니터로 외부 전송 없음 확인 |
| 포인트 | "인터넷 끊어도 AI 가 돌아간다"는 것을 직접 체험하세요. 이것이 로컬 AI 의 가장 강력한 장점입니다. |
| 시간 | 5 분 |
| 항목 | 내용 |
|---|---|
| 과제 | Ollama 에 Open WebUI 를 연동하여 브라우저에서 ChatGPT 처럼 사용해 보세요 |
| 설명 | Open WebUI 는 Ollama 를 웹 브라우저에서 ChatGPT 와 동일한 인터페이스로 사용하게 해주는 무료 도구입니다. 터미널 대신 익숙한 채팅 화면에서 AI 와 대화할 수 있습니다. |
| 연동 방법 | Open WebUI 공식 사이트(openwebui.com)에서 설치 안내를 따릅니다. Docker 또는 pip install 로 설치 가능. |
| 기대 효과 | 터미널이 불편한 사용자도 브라우저에서 편안하게 로컬 AI 를 사용. Chapter 1 의 ChatGPT 와 동일한 사용 경험. |
| 시간 | 5 분 (설치 후) |
| 항목 | 설명 |
|---|---|
| PC 사양 확인 | Ollama 를 실행하려면 최소 RAM 8GB 이상이 권장됩니다. 16GB 면 대부분의 모델을 쾌적하게 실행할 수 있습니다. GPU 가 있으면 더 빠르지만, CPU 만으로도 동작합니다. |
| 모델 크기와 저장 공간 |
각 모델은 2~8GB 의 저장 공간을 차지합니다. 여러 모델을 설치하면 공간이 부족해질 수 있으므로, 사용하지 않는 모델은 삭제하세요. (ollama rm 모델명) |
| 응답 품질의 현실적 한계 |
로컬 AI 의 성능은 클라우드 AI(GPT-4o, Claude 등)보다 낮을 수 있습니다. 특히 복잡한 추론, 긴 문서 분석, 이미지 생성 등은 클라우드 AI 가 더 뛰어납니다. 로컬 AI 는 "기밀 문서 처리"에 집중하세요. |
| 모델 업데이트 | 오픈소스 모델은 수시로 새 버전이 나옵니다. ollama pull 모델명으로 최신 버전을 받을 수 있습니다. 정기적으로 업데이트하면 성능이 향상됩니다. |
| 클라우드와 로컬의 병행 |
모든 업무를 로컬 AI 로 하려 하지 마세요. 기밀 문서 = 로컬 / 일반 업무 = 클라우드 이렇게 나누는 것이 최선의 전략입니다. |
| "로컬 = 절대 안전" 이라는 과신 금지 |
데이터가 외부로 나가지 않는 것은 맞지만, 내 컴퓨터 자체가 해킹되면 데이터가 유출될 수 있습니다. 로컬 AI 를 쓰더라도 PC 보안(비밀번호·백신·잠금 화면)은 반드시 유지하세요. |
이 절은 이 책의 마지막 절입니다.
| 영역 | Chapter | AI 가 하는 일 |
|---|---|---|
| AI 의 방 안 (AI 전용 서비스) |
Ch.1~6 | 글·이미지·영상·발표자료 생성, 심층 분석, AI 비서 설정 |
| 문서의 세계 | Ch.7 | 업로드한 문서를 읽고 팟캐스트·발표자료·요약 이미지로 변환 |
| 인터넷 세계 (웹 브라우저) |
Ch.8 | 웹 서비스를 자연어로 조작 (공지 수집, 이메일 정리 등) |
| 내 컴퓨터 (파일 시스템) |
Ch.9~10 | 내 컴퓨터 파일을 AI 로 처리 (합치기·추출·변환·정리·자동화) |
| 여러 서비스 연결 (워크플로우) |
Ch.11 | 여러 웹 서비스+AI 를 블록으로 연결 업무 흐름 전체를 24 시간 자동화 |
| 조직 서비스 (챗봇·웹/앱) |
Ch.12~13 | 조직용 AI 챗봇 구축·배포, 실제 작동하는 웹 페이지·앱 제작 |
| 창작의 세계 (음악·미래 기술) |
Ch.14~15 | AI 음악 생성, Google AI 기술의 최전선 탐색 |
| 내 컴퓨터 안 (로컬 AI) |
Ch.16 | 인터넷 없이, 데이터가 밖으로 나가지 않는 완전히 "내 것"인 AI |
Chapter 1 에서 AI 는 "AI 의 방 안"에만 있었습니다. 열여섯 장의 여정 끝에, AI 는 인터넷을 넘어 내 컴퓨터 안에 영원히 살게 되었습니다. 인터넷이 끊어져도, 서버가 다운되어도, 내 컴퓨터 안의 AI 는 항상 여러분 곁에 있습니다.
열여섯 장을 관통하는 세 가지 핵심 원칙은 마지막까지 변하지 않았습니다:
첫째, "AI 에게 구체적으로 지시할수록, 원하는 결과에 가까워진다."
둘째, "반복을 없앤다."
셋째, "작게 시작하여 점진적으로 확장한다."
이 책은 끝나지만, 여러분과 AI 의 여정은 이제 시작입니다.