윤남매 아빠's 스토리

안녕하세요! 여러분의 AI 아키텍처 설계자, 팬돌프입니다.지난 시간, 우리는 하이브리드 검색과 리랭킹 기술을 통해 "정확한 문서를 찾아내는 능력"을 극한까지 끌어올렸습니다. 이제 챗봇은 웬만한 질문에는 아주 똑똑하게 대답할 겁니다.하지만 현실의 데이터는 텍스트로만 이루어져 있지 않고, 상황에 따라 검색의 범위를 제한해야 할 때가 있습니다.상황 1: "2024년 1월 매출 보고서 보여줘"라고 했는데, 내용이 비슷하다는 이유로 2020년 보고서를 가져온다면? (날짜 필터링 실패)상황 2: 사용자가 글로 설명하는 대신 신발 사진을 올리며 "이거랑 비슷한 거 찾아줘"라고 한다면? (텍스트 검색의 한계)오늘은 검색의 정확도를 넘어 검색의 정밀도(Precision)를 제어하는 메타데이터 필터링과, 텍스트의 벽을 넘..

안녕하세요! 여러분의 AI 기술 가이드, 팬돌프입니다.지난 1편에서는 텍스트를 숫자로 바꾸는 임베딩(Embedding)에 대해 배웠습니다. "의미가 비슷하면 벡터 공간에서 거리가 가깝다"는 것이 핵심이었죠.그런데 여기서 현실적인 문제에 부딪힙니다. 여러분이 만든 서비스가 대박이 나서 데이터가 1억 개가 되었다고 상상해 봅시다. 사용자가 질문을 던질 때마다 1억 개의 데이터와 일일이 거리를 계산해서 가장 가까운 놈을 찾으려면 얼마나 걸릴까요?아마 답변 하나를 듣는 데 10초, 아니 1분이 걸릴지도 모릅니다. 사용자는 다 떠나겠죠.오늘은 정확도를 아주 조금 포기하는 대신, 속도를 수백 배 빠르게 만드는 벡터 데이터베이스의 심장, ANN(근사 최근접 이웃)과 HNSW 알고리즘의 비밀을 파헤쳐 봅니다.1. 완벽..

안녕하세요! 여러분의 AI 엔지니어링 가이드, 팬돌프입니다.지금까지 우리는 데이터를 수집(Kafka)하고, 가공(Spark)하고, 저장(Iceberg)하는 '데이터 엔지니어링의 정석'을 밟아왔습니다. 이 과정을 통해 여러분은 방대한 데이터를 안전하고 효율적으로 관리할 수 있게 되었습니다.하지만 2024년, 데이터 플랫폼의 트렌드는 "저장(Storing)"에서 "이해(Understanding)"로 넘어가고 있습니다. 단순히 텍스트를 저장하는 것을 넘어, 컴퓨터가 그 텍스트의 '의미'를 이해하게 만드는 기술이 필요해진 것이죠.오늘부터 시작하는 [Vector DB & RAG] 시리즈는 여러분의 데이터 시스템에 AI라는 두뇌를 장착하는 과정입니다. 그 첫 번째 시간, AI가 인간의 언어를 숫자로 이해하는 마법,..

📋 Vector DB & RAG 연재 시리즈 리포트제1편. [개념] AI는 텍스트를 모른다? 임베딩(Embedding)과 벡터 공간의 비밀컴퓨터가 언어를 이해하는 법: 단어(Text)를 실수형 리스트인 벡터(Vector)로 변환하는 임베딩의 원리.의미 기반 검색(Semantic Search): "맛있는 과일"을 검색했을 때 "사과"가 검색되는 원리 (유클리드 거리, 코사인 유사도).왜 RDB로는 안 되는가?: 정확히 일치하는 키워드(Exact Match)만 찾는 기존 DB의 한계와 벡터 공간의 필요성.제2편. [구조] Vector DB의 핵심 엔진: ANN(Approximate Nearest Neighbor)과 HNSW속도의 딜레마: 수억 개의 벡터와 일일이 거리를 계산하는 KNN(Exact) 방식의 ..