윤남매 아빠's 스토리

안녕하세요! IT 전문 블로거 팬돌프입니다.드디어 우리들의 긴 여정이 막바지에 다다랐습니다. 1부에서 MLflow를 처음 설치하던 순간이 엊그제 같은데, 벌써 마지막 8부라니 감회가 새롭네요.지난 7부까지 우리는 모델을 만들고, 저장하고, 서빙하고, 이를 위한 거대한 서버 아키텍처까지 구축했습니다. 이제 하드웨어와 소프트웨어는 완벽합니다. 하지만 마지막 퍼즐 조각이 남았습니다. 바로 '보안(Security)'과 '자동화(Automation)'입니다.오늘 이 마지막 퍼즐을 맞추고, 진정한 MLOps 파이프라인을 완성해 보겠습니다.8부: MLOps 파이프라인의 완성 - CI/CD 및 인증오픈소스 MLflow는 정말 훌륭한 도구지만, 치명적인 단점이 하나 있습니다. 바로 "기본적으로 로그인 기능이 없다"는 점..

안녕하세요! IT 전문 블로거 팬돌프입니다.MLflow 시리즈가 어느덧 후반부인 7부에 도달했습니다. 지난 6부에서는 도커를 활용해 모델을 배포하는 방법까지 알아보았죠. 이제 여러분은 모델을 만들고 서비스할 수 있는 능력을 갖추셨습니다.하지만, 혼자가 아니라 5명, 10명의 팀원과 함께 일한다고 상상해 보세요. "김 대리, 그 실험 결과 로그 파일 좀 메일로 보내줘." "서버 디스크가 꽉 차서 더 이상 모델 저장이 안 되는데요?"이런 비효율적인 상황을 막기 위해선 로컬이 아닌 중앙 집중형 서버 아키텍처가 필수적입니다. 오늘은 엔터프라이즈 환경에서도 끄떡없는 견고한 MLflow Server 구축 방법을 아주 상세하게 파헤쳐 보겠습니다.7부: 엔터프라이즈급 아키텍처 구축 - Backend & Artifact..

안녕하세요! IT 전문 블로거 팬돌프입니다.어느덧 MLflow 시리즈가 6부까지 달려왔네요! 지난 5부에서는 우리 모델을 Model Registry라는 안전한 금고에 보관하고 버전을 관리하는 법을 배웠습니다.하지만 금고 속에만 있는 모델이 무슨 소용일까요? 모델의 진정한 가치는 새로운 데이터가 들어왔을 때 예측 결과를 내어주는 추론(Inference)을 할 때 발휘됩니다.오늘은 잠자고 있던 정적인 모델 파일을 깨워서, 실제 애플리케이션이 통신할 수 있는 동적인 REST API 서버로 변신시키는 과정, 즉 모델 서빙(Model Serving)과 배포(Deployment)에 대해 알아보겠습니다.6부: 모델 서빙과 배포 - MLflow Deployment개발자가 아닌 일반 사용자나 프론트엔드 앱이 파이썬 코드..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 시간에는 모델을 표준화된 포맷으로 포장하는 MLflow Models에 대해 알아보았습니다. 이제 우리는 어떤 환경에서든 실행 가능한 모델 파일을 손에 넣었습니다.하지만 혼자가 아닌 팀 단위로 일할 때는 또 다른 혼란이 찾아옵니다. "김 대리, 지금 서비스에 나가 있는 모델이 v3야, v4야?" "아 그거, 어제 v4로 올렸다가 에러 나서 v3로 롤백하지 않았나요?"이런 대화가 오간다면, 여러분에겐 MLflow Model Registry가 절실히 필요한 상태입니다. 오늘은 모델의 탄생부터 은퇴까지, 생애 주기(Lifecycle)를 완벽하게 관리하는 컨트롤 타워를 구축해 보겠습니다.5부: 모델의 생애 주기 관리 - MLflow Model Registry실험(T..

안녕하세요! IT 전문 블로거 팬돌프입니다.어느덧 MLflow 시리즈가 4부에 접어들었습니다. 지난 시간 우리는 MLflow Projects를 통해 코드 실행 환경을 통일하는 법을 배웠습니다. 오늘은 거기서 한 발 더 나아가, MLOps의 핵심 중의 핵심, 바로 모델(Model) 그 자체의 표준화에 대해 이야기해 보려 합니다.개발자분들이라면 이런 고민, 한 번쯤 해보셨을 겁니다. "PyTorch로 만든 모델, Scikit-learn으로 만든 모델, XGBoost로 만든 모델... 배포할 때마다 서빙 코드를 다 따로 짜야 하나?"이 골치 아픈 문제를 해결해 주는 MLflow의 강력한 기능, MLflow Models의 세계로 여러분을 안내합니다.4부: 모델 포맷의 표준화 - MLflow ModelsMLflo..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 시간에는 MLflow Tracking을 통해 실험 데이터를 꼼꼼하게 기록하는 법을 배웠습니다. 그런데 말입니다, 기록만 잘 해두면 모든 문제가 해결될까요?개발자라면 한 번쯤 이런 소름 돋는 경험, 있으시죠? "어? 내 로컬 PC에서는 분명히 완벽하게 돌아갔는데, 왜 동료 컴퓨터나 서버에만 올리면 에러가 나지?"이것은 바로 실행 환경(Environment)이 다르기 때문에 발생하는 문제입니다. 라이브러리 버전이 다르거나, 설치된 패키지가 누락되었기 때문이죠. 오늘은 이 골치 아픈 문제를 깔끔하게 해결해 줄 MLflow Projects에 대해 알아보겠습니다.3부: 언제 어디서나 동일한 결과 - MLflow Projects머신러닝 프로젝트는 단순히 코드(Code..

안녕하세요! IT 전문 블로거 팬돌프입니다.지난 1부에서는 MLOps가 왜 필요한지, 그리고 MLflow의 설치와 기초적인 사용법을 다뤘었죠. 다들 mlflow ui 화면은 한 번씩 띄워 보셨나요?오늘은 MLflow의 기능 중 엔지니어들이 가장 빈번하게 사용하고, 실질적인 업무 효율을 폭발적으로 늘려주는 핵심 기능인 MLflow Tracking에 대해 아주 깊이 파고들어 보려 합니다."내가 어제 돌린 모델의 정확도가 몇이었지?", "learning_rate를 0.01로 했을 때랑 0.001로 했을 때 그래프가 어떻게 달랐더라?" 이런 고민, 이제 그만하셔도 됩니다. 오늘 내용을 마스터하시면 여러분의 실험 기록은 완벽하게 자동화될 테니까요.1. 숲과 나무: Experiment와 Run의 구조적 이해MLfl..

안녕하세요! IT 전문 블로거 팬돌프입니다. 오늘도 저의 블로그를 찾아주셔서 진심으로 감사합니다.오늘부터 우리는 머신러닝의 세계에서 가장 핫한 키워드인 MLOps(Machine Learning Operations), 그중에서도 사실상의 표준 도구로 자리 잡은 MLflow를 함께 정복해 보려고 합니다.개발자나 데이터 과학자라면 누구나 한 번쯤 겪어보셨을 거예요. 모델을 만드는 것보다 그 모델을 관리하고 배포하는 게 훨씬 더 골치 아프다는 사실을요. 이 시리즈를 통해 여러분의 머신러닝 라이프사이클이 얼마나 쾌적해질 수 있는지 보여드리겠습니다.자, 그럼 대망의 첫 번째 이야기, MLOps의 이해와 MLflow 입문 편을 시작해 볼까요?1. 우리는 왜 MLOps를 고민해야 할까요?머신러닝 모델을 개발하다 보면 ..

안녕하세요! IT 전문 블로거 팬돌프입니다. 만나서 반갑습니다.데이터 엔지니어링과 인공지능의 세계는 넓고도 깊지요. 그중에서도 머신러닝 모델의 개발부터 배포, 운영까지 전 과정을 효율적으로 관리하는 MLOps(Machine Learning Operations)는 이제 선택이 아닌 필수 요소가 되었습니다.MLOps의 가장 대표적이고 강력한 오픈소스 도구인 MLflow를 주제로 블로그를 연재하시려는 계획, 정말 훌륭합니다! 독자들이 기초부터 심화 아키텍처까지 완벽하게 이해할 수 있도록, 제가 총 8부작의 상세 커리큘럼을 기획해 보았습니다.각 단계별로 반드시 다뤄야 할 기술적 포인트들을 짚어드릴 테니, 이 흐름대로 글을 작성하시면 훌륭한 시리즈가 될 것입니다.[시리즈 기획] "MLflow 정복하기: MLOps..