Quick Start Guide to Large Language Model
O’Reilly에서 2023년 10월에 발행한 책입니다. LLM의 발전 속도가 너무 빨라서 Outdated 됐을까봐 걱정했는데, 이 책은 LLM에 대한 기초적인 부분에 초점을 맞추었습니다.
대상 독자
이 책은 LLM에 관심 있는 분이나 관련 서비스 개발을 시작하려는 분에게 적합합니다. 단순하고 쉽게 설명하려는 노력이 돋보이는 책입니다.
딥러닝의 정석 2판 리뷰에서는 "AI에 관심이 있고 Stable Diffusion이나 OpenAI와 같은 LLM의 사용법이나 가능성을 알아보고 싶다면 머신러닝, 딥러닝을 배우기보다는 프롬프트 엔지니어링을 공부하는 것이 좋다"고 언급했습니다. 이는 이 책을 대상으로 한 것으로 생각됩니다.
책 소개
이 책은 신경망 언어 모델부터 LLM까지의 발전 과정 및 작동 원리를 소개합니다. 2017년 Google 팀이 발표한 Transformer 딥러닝 모델을 시작으로, LLM의 역사가 그리 길지 않음에도 불구하고 자세한 설명을 제공합니다.
시맨틱 검색, 기본적인 프롬프트 엔지니어링에 대해 논합니다. 기초적인 지식을 설명하고 확장해 나가는데, 예를 들어 의미 기반 검색(Semantic Search) 챕터에서는 텍스트 임베딩, 벡터 데이터베이스, Cosine Similarity 등에 대해서도 다룹니다. 또한 RAG에 필요한 문서 청킹, 벡터 데이터베이스, 프롬프트 엔지니어링 전략들, 페르소나 지정 등도 소개합니다.
파트1에서는 AI 서비스 구축에 대한 기본적인 인사이트를 제공합니다.
파트2는 고급 테크닉에 중점을 둡니다. 기초적인 QA, 챗봇 같은 서비스는 대부분 파트1의 내용으로 충분하지만, 더 복잡하거나 어려운 서비스 개발 시 파트2의 파인튜닝을 참조해야 합니다. 프롬프트 체이닝을 설명하며, 프롬프트 인젝션, 프롬프트 스터핑 방지 등의 장점과 모델이 과도하게 복잡한 프롬프트를 처리할 때의 시간 소요와 효율성 저하에 대해 논합니다.
파트3에서는 고급 LLM 사용법을 다룹니다. 오픈소스 모델이나 낮은 버전의 모델을 사용하여 GPT-4처럼 우수한 결과를 얻기 위한 고급 파인튜닝 기술, 데이터 준비 및 피처 엔지니어링의 중요성을 소개합니다. 파인튜닝 예제로는 GPT-2의 1억 개 파라미터를 활용하여 보상 모델을 정의하고 강화학습을 통해 GPT-3와 같은 성능을 달성하는 방법을 제시합니다.
마지막으로, 이 책의 부록은 매우 유익한 내용을 담고 있습니다. LLM 자주 묻는 질문(FAQ), LLM 용어 해설, LLM 애플리케이션 개발 시 고려사항 등이 포함되어 있습니다. 책을 읽기 전에 이 부분을 먼저 읽는 것이 좋다고 개인적으로 추천합니다.
특히 LLM용어해석은 비유 맛집인데, 위와같이, 어려울 수 있는 용어에 대해 적절한 비유를 사용하여 이해하기 쉽게 작성되어 있어서 보면서 감탄했습니다. LLM을 배우기 시작하시는 분이라면 낯선 AI용어에 현기증이 날 수도 있기때문에 부록을 먼저 읽어보시길 추천 드립니다.
후기
https://deeplearning.ai 에서 LLM관련 코스를 들으신 후 보기를 권장드립니다.
이 책은 LangChain같은 서드파티 도구에 대해서 이야기 하지 않습니다. 이런 도구들은 유용할 수는 있지만, 이 책은 독자에게 근본적인 LLM에 대해서 이해하도록 도우며 서드파티 도구에 대한 선택은 독자가 나중에 판단할 수 있다고 말합니다.
"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."