안녕하세요!지난 4편까지 우리는 데이터를 시간순으로 자르고, 상태를 저장하며, 원하는 형태로 집계하는 Flink의 화려한 데이터 가공 기술들을 모두 마스터했습니다. 로직만 보면 완벽한 실시간 파이프라인이 완성되었죠.하지만 현실 세계의 인프라는 결코 완벽하지 않습니다. 새벽 3시에 서버 메모리가 터져서 TaskManager가 죽는다면? 네트워크 스위치에 장애가 발생해서 연결이 끊어진다면?"서버가 죽기 전까지 유저 A의 결제액을 10만 원까지 더해놨는데... 재시작하면 처음부터 다시 0원부터 더해야 하나요? 아니면 어딘가 저장된 데이터를 다시 읽어오다가 10만 원이 두 번 더해져서 20만 원이 되는 건 아닐까요?"데이터 엔지니어의 가장 큰 악몽인 '데이터 유실'과 '중복 처리'. 오늘은 이 악몽을 완벽하게 ..