허깅페이스로 배우는 멀티모달 모델: 이미지 이해부터 생성, 파인튜닝까지

이 저장소는 『허깅페이스로 배우는 멀티모달 모델: 이미지 이해부터 생성, 파인튜닝까지』(디지털북스) 도서의 실습 코드를 담고 있습니다.

---

책 소개

멀티모달 AI의 핵심 개념부터 실전 활용까지, 허깅페이스 생태계를 중심으로 체계적으로 안내합니다. CLIP, 비전 언어 모델(VLM), 디퓨전 기반 이미지 생성 모델 등 주요 멀티모달 모델의 원리를 이해하고, 직접 코드를 실행하며 파인튜닝과 최적화까지 경험할 수 있습니다.

---

목차

Part 01. 허깅페이스 살펴보기

허깅페이스 생태계와 멀티모달 모델 활용을 위한 핵심 라이브러리를 소개합니다.

챕터	노트북
Chapter 01. 왜 허깅페이스인가?	-
Chapter 02. 허깅페이스 가입하기	-
Chapter 03. 멀티모달 모델을 위한 허깅페이스 라이브러리

Part 02. 멀티모달 모델 이해하기

멀티모달 모델의 기본 개념과 CLIP을 통해 이미지-텍스트 연결 원리를 알아봅니다.

챕터	노트북
Chapter 01. 멀티모달 모델에 대해서 알아보기	-
Chapter 02. 이미지와 텍스트를 이해하는 CLIP

Part 03. 멀티모달 모델을 활용한 이미지 이해

비전 언어 모델(VLM)의 구조를 이해하고, 실전 활용부터 파인튜닝까지 다룹니다.

챕터	노트북
Chapter 01. 비전 언어 모델 알아보기
Chapter 02. 주요 비전 언어 모델 실전 활용
Chapter 03. 특정 작업을 잘하도록 비전 언어 모델 파인튜닝하기

Part 04. 멀티모달 모델을 활용한 이미지 생성

디퓨전 모델 기반 이미지 생성의 원리, ControlNet, DreamBooth/LoRA, 양자화 최적화를 실습합니다.

챕터	노트북
Chapter 01. 이미지 생성 모델 이해하기
Chapter 02. 이미지 생성 모델을 더 효과적으로 제어하는 방법
Chapter 03. 나만의 멀티모달 이미지 생성 모델을 학습하는 방법
Chapter 04. 더 효율적으로 이미지 생성 모델을 사용하는 방법

Part 05. 멀티모달 모델 더 알아보기

멀티모달 이해와 생성의 최신 트렌드와 심화 주제를 탐구합니다.

챕터	노트북
Chapter 01. 멀티모달 이해 더 알아보기
Chapter 02. 멀티모달 생성 더 알아보기	-

관련 링크

• 📖 디지털북스 도서 페이지
• 🛒 예스24 | 교보문고 | 알라딘

---

정오표

도서의 오탈자나 코드 오류를 발견하시면 Issues 탭에 등록해 주세요. 확인 후 반영하겠습니다.