안녕하세요, 유연한 파이프라인을 꿈꾸는 데이터 아키텍트 여러분! 팬돌프입니다. 🐧지난 4편에서는 TaskFlow API를 통해 파이썬 코드를 작성하듯 우아하게 DAG를 만드는 법을 배웠습니다. 이제 우리의 코드는 한결 간결해졌죠. 하지만 만약 처리해야 할 파일이 100개라면, 똑같은 Task를 100번 복사/붙여넣기 해야 할까요? 스케줄을 '매일'이 아니라 '대한민국 공휴일을 제외한 모든 평일'로 만들 수는 없을까요?오늘은 바로 이러한 고민을 해결해 줄 Airflow의 강력한 기능, Dynamic Task Mapping과 고급 스케줄링에 대해 깊이 있게 알아보겠습니다. 정적인 파이프라인에서 벗어나, 상황에 따라 동적으로 변화하는 살아있는 파이프라인을 만드는 비법을 전수해 드릴게요!5편: Dynamic ..
