윤남매 아빠's 스토리

안녕하세요! 여러분의 AI 여정을 끝까지 함께한 러닝 메이트, 팬돌프입니다.드디어 [AI 엔지니어링: Vector DB & RAG] 시리즈의 마지막 편에 도착했습니다.우리는 텍스트를 숫자로 바꾸는 임베딩부터 시작해, 1억 개의 데이터에서 정답을 찾는 HNSW, 그리고 하이브리드 검색과 리랭킹을 통해 챗봇의 지능을 극한까지 끌어올렸습니다. 이제 여러분의 RAG 시스템은 기술적으로 매우 완성도가 높습니다.하지만 상사나 클라이언트가 이렇게 묻는다면 어떻게 대답하시겠습니까? "그래서 이 챗봇, 정확도가 몇 점입니까? 어제보다 똑똑해진 거 맞아요?""써보니까 좋던데요?"라는 답변은 통하지 않습니다. 대장정의 마지막은 '감(Feeling)'이 아닌 '숫자(Metric)'로 AI의 성능을 증명하고, 지속적으로 개선하..

안녕하세요! IT 전문 블로거 팬돌프입니다.드디어 우리들의 긴 여정이 막바지에 다다랐습니다. 1부에서 MLflow를 처음 설치하던 순간이 엊그제 같은데, 벌써 마지막 8부라니 감회가 새롭네요.지난 7부까지 우리는 모델을 만들고, 저장하고, 서빙하고, 이를 위한 거대한 서버 아키텍처까지 구축했습니다. 이제 하드웨어와 소프트웨어는 완벽합니다. 하지만 마지막 퍼즐 조각이 남았습니다. 바로 '보안(Security)'과 '자동화(Automation)'입니다.오늘 이 마지막 퍼즐을 맞추고, 진정한 MLOps 파이프라인을 완성해 보겠습니다.8부: MLOps 파이프라인의 완성 - CI/CD 및 인증오픈소스 MLflow는 정말 훌륭한 도구지만, 치명적인 단점이 하나 있습니다. 바로 "기본적으로 로그인 기능이 없다"는 점..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 시간에는 모델을 표준화된 포맷으로 포장하는 MLflow Models에 대해 알아보았습니다. 이제 우리는 어떤 환경에서든 실행 가능한 모델 파일을 손에 넣었습니다.하지만 혼자가 아닌 팀 단위로 일할 때는 또 다른 혼란이 찾아옵니다. "김 대리, 지금 서비스에 나가 있는 모델이 v3야, v4야?" "아 그거, 어제 v4로 올렸다가 에러 나서 v3로 롤백하지 않았나요?"이런 대화가 오간다면, 여러분에겐 MLflow Model Registry가 절실히 필요한 상태입니다. 오늘은 모델의 탄생부터 은퇴까지, 생애 주기(Lifecycle)를 완벽하게 관리하는 컨트롤 타워를 구축해 보겠습니다.5부: 모델의 생애 주기 관리 - MLflow Model Registry실험(T..

안녕하세요! IT 전문 블로거 팬돌프입니다.어느덧 MLflow 시리즈가 4부에 접어들었습니다. 지난 시간 우리는 MLflow Projects를 통해 코드 실행 환경을 통일하는 법을 배웠습니다. 오늘은 거기서 한 발 더 나아가, MLOps의 핵심 중의 핵심, 바로 모델(Model) 그 자체의 표준화에 대해 이야기해 보려 합니다.개발자분들이라면 이런 고민, 한 번쯤 해보셨을 겁니다. "PyTorch로 만든 모델, Scikit-learn으로 만든 모델, XGBoost로 만든 모델... 배포할 때마다 서빙 코드를 다 따로 짜야 하나?"이 골치 아픈 문제를 해결해 주는 MLflow의 강력한 기능, MLflow Models의 세계로 여러분을 안내합니다.4부: 모델 포맷의 표준화 - MLflow ModelsMLflo..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 시간에는 MLflow Tracking을 통해 실험 데이터를 꼼꼼하게 기록하는 법을 배웠습니다. 그런데 말입니다, 기록만 잘 해두면 모든 문제가 해결될까요?개발자라면 한 번쯤 이런 소름 돋는 경험, 있으시죠? "어? 내 로컬 PC에서는 분명히 완벽하게 돌아갔는데, 왜 동료 컴퓨터나 서버에만 올리면 에러가 나지?"이것은 바로 실행 환경(Environment)이 다르기 때문에 발생하는 문제입니다. 라이브러리 버전이 다르거나, 설치된 패키지가 누락되었기 때문이죠. 오늘은 이 골치 아픈 문제를 깔끔하게 해결해 줄 MLflow Projects에 대해 알아보겠습니다.3부: 언제 어디서나 동일한 결과 - MLflow Projects머신러닝 프로젝트는 단순히 코드(Code..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 1부에서는 MLOps가 왜 필요한지, 그리고 MLflow의 설치와 기초적인 사용법을 다뤘었죠. 다들 mlflow ui 화면은 한 번씩 띄워 보셨나요?오늘은 MLflow의 기능 중 엔지니어들이 가장 빈번하게 사용하고, 실질적인 업무 효율을 폭발적으로 늘려주는 핵심 기능인 MLflow Tracking에 대해 아주 깊이 파고들어 보려 합니다."내가 어제 돌린 모델의 정확도가 몇이었지?", "learning_rate를 0.01로 했을 때랑 0.001로 했을 때 그래프가 어떻게 달랐더라?" 이런 고민, 이제 그만하셔도 됩니다. 오늘 내용을 마스터하시면 여러분의 실험 기록은 완벽하게 자동화될 테니까요.1. 숲과 나무: Experiment와 Run의 구조적 이해MLfl..

안녕하세요! IT 전문 블로거 팬돌프입니다. 오늘도 저의 블로그를 찾아주셔서 진심으로 감사합니다.오늘부터 우리는 머신러닝의 세계에서 가장 핫한 키워드인 MLOps(Machine Learning Operations), 그중에서도 사실상의 표준 도구로 자리 잡은 MLflow를 함께 정복해 보려고 합니다.개발자나 데이터 과학자라면 누구나 한 번쯤 겪어보셨을 거예요. 모델을 만드는 것보다 그 모델을 관리하고 배포하는 게 훨씬 더 골치 아프다는 사실을요. 이 시리즈를 통해 여러분의 머신러닝 라이프사이클이 얼마나 쾌적해질 수 있는지 보여드리겠습니다.자, 그럼 대망의 첫 번째 이야기, MLOps의 이해와 MLflow 입문 편을 시작해 볼까요?1. 우리는 왜 MLOps를 고민해야 할까요?머신러닝 모델을 개발하다 보면 ..

안녕하세요! IT 전문 블로거 팬돌프입니다. 만나서 반갑습니다.데이터 엔지니어링과 인공지능의 세계는 넓고도 깊지요. 그중에서도 머신러닝 모델의 개발부터 배포, 운영까지 전 과정을 효율적으로 관리하는 MLOps(Machine Learning Operations)는 이제 선택이 아닌 필수 요소가 되었습니다.MLOps의 가장 대표적이고 강력한 오픈소스 도구인 MLflow를 주제로 블로그를 연재하시려는 계획, 정말 훌륭합니다! 독자들이 기초부터 심화 아키텍처까지 완벽하게 이해할 수 있도록, 제가 총 8부작의 상세 커리큘럼을 기획해 보았습니다.각 단계별로 반드시 다뤄야 할 기술적 포인트들을 짚어드릴 테니, 이 흐름대로 글을 작성하시면 훌륭한 시리즈가 될 것입니다.[시리즈 기획] "MLflow 정복하기: MLOps..

안녕하십니까! 여러분의 영원한 IT 러닝메이트, 팬돌프입니다.약 두 달간의 대장정이었습니다. [1편]에서 "왜 카프카인가?"라는 질문으로 시작했던 우리의 여행이, 어느덧 [15편]이라는 종착역에 도착했습니다.그동안 제 블로그를 찾아주시고, 긴 글을 읽으며 함께 고민해 주신 모든 개발자분께 진심으로 감사의 말씀을 드립니다. 여러분의 열정 덕분에 저 또한 다시 한번 깊이 있게 공부할 수 있었습니다.오늘은 이 긴 여정을 갈무리하는 총정리 시간과 함께, 앞으로 카프카가 데이터 생태계에서 어떤 모습으로 진화할지, 그리고 여러분의 커리어에 어떤 영향을 미칠지 이야기하며 시리즈의 마침표를 찍으려 합니다.마지막까지 힘차게 달려볼까요?[15편] 시리즈를 마치며 - 카프카와 함께하는 데이터 엔지니어의 미래1. 우리가 걸어..