윤남매 아빠's 스토리

안녕하세요! 여러분의 AI 파트너, 팬돌프입니다.지난 시간, 우리는 회사 매뉴얼 같은 방대한 문서를 잘게 쪼개서(Chunking) 벡터 데이터베이스에 예쁘게 저장하는 파이프라인을 구축했습니다. 이제 재료 손질은 끝났습니다.하지만 지금 상태로는 DB에 데이터가 들어만 있을 뿐, 아무 일도 일어나지 않습니다. 이제 뇌(LLM)와 기억(Vector DB)을 신경망으로 연결할 차례입니다.오늘은 AI 엔지니어링의 꽃, RAG(검색 증강 생성) 아키텍처를 통해 "내 데이터를 보고 대답하는 챗봇"을 실제로 작동시켜 보겠습니다. "모르는 건 모른다"고 말하는 정직한 AI 만들기, 지금 시작합니다!1. 챗GPT의 거짓말과 '오픈 북 시험'챗GPT 같은 LLM은 '다음에 올 단어를 확률적으로 예측하는 기계'입니다. 그래서..

안녕하세요! 여러분의 데이터 요리사, 팬돌프입니다.지난 시간, 우리는 데이터를 담을 그릇인 Vector DB를 선택했습니다. (Pinecone, Milvus, pgvector 중 하나를 고르셨겠죠?)이제 그릇에 담을 재료(데이터)를 손질할 시간입니다. 많은 분이 "그냥 PDF 파일을 통째로 AI한테 주면 되는 거 아니에요?"라고 묻습니다. 안타깝게도 LLM은 한 번에 읽을 수 있는 글자 수(Context Window)에 제한이 있습니다. 마치 코끼리를 냉장고에 넣으려면 토막을 내야 하는 것과 같죠.하지만 막 썰면 안 됩니다. 문맥이 끊기지 않게 예쁘게 썰어야 AI가 똑똑해집니다. 오늘은 RAG 성능의 50%를 결정짓는 핵심 기술, 청킹(Chunking) 전략과 데이터 파이프라인(ETL) 구축 실습을 진행..

안녕하세요! 여러분의 AI 엔지니어링 가이드, 팬돌프입니다.지금까지 우리는 데이터를 수집(Kafka)하고, 가공(Spark)하고, 저장(Iceberg)하는 '데이터 엔지니어링의 정석'을 밟아왔습니다. 이 과정을 통해 여러분은 방대한 데이터를 안전하고 효율적으로 관리할 수 있게 되었습니다.하지만 2024년, 데이터 플랫폼의 트렌드는 "저장(Storing)"에서 "이해(Understanding)"로 넘어가고 있습니다. 단순히 텍스트를 저장하는 것을 넘어, 컴퓨터가 그 텍스트의 '의미'를 이해하게 만드는 기술이 필요해진 것이죠.오늘부터 시작하는 [Vector DB & RAG] 시리즈는 여러분의 데이터 시스템에 AI라는 두뇌를 장착하는 과정입니다. 그 첫 번째 시간, AI가 인간의 언어를 숫자로 이해하는 마법,..

📋 Vector DB & RAG 연재 시리즈 리포트제1편. [개념] AI는 텍스트를 모른다? 임베딩(Embedding)과 벡터 공간의 비밀컴퓨터가 언어를 이해하는 법: 단어(Text)를 실수형 리스트인 벡터(Vector)로 변환하는 임베딩의 원리.의미 기반 검색(Semantic Search): "맛있는 과일"을 검색했을 때 "사과"가 검색되는 원리 (유클리드 거리, 코사인 유사도).왜 RDB로는 안 되는가?: 정확히 일치하는 키워드(Exact Match)만 찾는 기존 DB의 한계와 벡터 공간의 필요성.제2편. [구조] Vector DB의 핵심 엔진: ANN(Approximate Nearest Neighbor)과 HNSW속도의 딜레마: 수억 개의 벡터와 일일이 거리를 계산하는 KNN(Exact) 방식의 ..

안녕하세요! IT 지식의 길잡이, 팬돌프입니다.지난 포스팅에서 우리는 스스로 도구를 사용하는 똑똑한 AI 에이전트를 만들었습니다. 하지만 아무리 똑똑한 AI라도 모르는 것이 있습니다. 바로 여러분의 회사 내규, 비공개 프로젝트 문서, 혹은 어제 작성한 회의록 같은 데이터입니다.GPT에게 "우리 회사 휴가 규정이 뭐야?"라고 물으면 대답하지 못하거나 엉뚱한 소리를 하겠죠. 오늘 소개할 RAG (Retrieval-Augmented Generation, 검색 증강 생성) 기술은 바로 이 문제를 해결하는 열쇠입니다.n8n을 사용하면 복잡한 코딩 없이도 AI에게 전용 도서관(지식 베이스)을 지어줄 수 있습니다. 문서를 벡터(숫자)로 바꿔 저장하고, 질문할 때마다 꺼내 쓰는 마법 같은 기술, 지금 시작합니다.[Pa..