윤남매 아빠's 스토리

안녕하세요! 여러분의 AI 여정을 끝까지 함께한 러닝 메이트, 팬돌프입니다.드디어 [AI 엔지니어링: Vector DB & RAG] 시리즈의 마지막 편에 도착했습니다.우리는 텍스트를 숫자로 바꾸는 임베딩부터 시작해, 1억 개의 데이터에서 정답을 찾는 HNSW, 그리고 하이브리드 검색과 리랭킹을 통해 챗봇의 지능을 극한까지 끌어올렸습니다. 이제 여러분의 RAG 시스템은 기술적으로 매우 완성도가 높습니다.하지만 상사나 클라이언트가 이렇게 묻는다면 어떻게 대답하시겠습니까? "그래서 이 챗봇, 정확도가 몇 점입니까? 어제보다 똑똑해진 거 맞아요?""써보니까 좋던데요?"라는 답변은 통하지 않습니다. 대장정의 마지막은 '감(Feeling)'이 아닌 '숫자(Metric)'로 AI의 성능을 증명하고, 지속적으로 개선하..

안녕하세요! 여러분의 AI 성능 튜닝 마스터, 팬돌프입니다.지난 5편에서 우리는 기본적인 RAG 챗봇을 만들었습니다. 이제 "퇴직금"이나 "휴가" 같은 일반적인 질문에는 제법 잘 대답할 겁니다.하지만 현업에서 RAG를 도입하면 100% 마주치게 되는 문제가 있습니다. 사용자가 "오류 코드 ERR-204 해결법 알려줘"라고 물었는데, 챗봇이 엉뚱하게 "일반적인 서버 오류 해결법"을 가져오는 상황이죠. 정작 "ERR-204"가 적힌 문서는 벡터 유사도가 낮다며 버려졌기 때문입니다.때로는 의미(Vector)보다 정확한 단어(Keyword)가 중요할 때가 있습니다. 오늘은 RAG 시스템의 검색 정확도를 획기적으로 높이는 두 가지 비밀 병기, 하이브리드 검색(Hybrid Search)과 리랭킹(Re-ranking..

📋 Vector DB & RAG 연재 시리즈 리포트제1편. [개념] AI는 텍스트를 모른다? 임베딩(Embedding)과 벡터 공간의 비밀컴퓨터가 언어를 이해하는 법: 단어(Text)를 실수형 리스트인 벡터(Vector)로 변환하는 임베딩의 원리.의미 기반 검색(Semantic Search): "맛있는 과일"을 검색했을 때 "사과"가 검색되는 원리 (유클리드 거리, 코사인 유사도).왜 RDB로는 안 되는가?: 정확히 일치하는 키워드(Exact Match)만 찾는 기존 DB의 한계와 벡터 공간의 필요성.제2편. [구조] Vector DB의 핵심 엔진: ANN(Approximate Nearest Neighbor)과 HNSW속도의 딜레마: 수억 개의 벡터와 일일이 거리를 계산하는 KNN(Exact) 방식의 ..