윤남매 아빠's 스토리

안녕하십니까! 여러분의 영원한 IT 러닝메이트, 팬돌프입니다.약 두 달간의 대장정이었습니다. [1편]에서 "왜 카프카인가?"라는 질문으로 시작했던 우리의 여행이, 어느덧 [15편]이라는 종착역에 도착했습니다.그동안 제 블로그를 찾아주시고, 긴 글을 읽으며 함께 고민해 주신 모든 개발자분께 진심으로 감사의 말씀을 드립니다. 여러분의 열정 덕분에 저 또한 다시 한번 깊이 있게 공부할 수 있었습니다.오늘은 이 긴 여정을 갈무리하는 총정리 시간과 함께, 앞으로 카프카가 데이터 생태계에서 어떤 모습으로 진화할지, 그리고 여러분의 커리어에 어떤 영향을 미칠지 이야기하며 시리즈의 마침표를 찍으려 합니다.마지막까지 힘차게 달려볼까요?[15편] 시리즈를 마치며 - 카프카와 함께하는 데이터 엔지니어의 미래1. 우리가 걸어..

안녕하세요! 여러분의 IT 지식 파트너, 팬돌프입니다.지난 [8편]에서는 카프카 스트림즈의 기초인 filter나 map 같은 기능들을 다뤘습니다. 들어오는 데이터를 하나하나 변환하거나 걸러내는 작업이었죠. 이것을 무상태(Stateless) 처리라고 합니다.하지만 현실 세계의 데이터 분석은 그렇게 단순하지 않습니다. "최근 1시간 동안 가장 많이 팔린 상품은?" "주문 내역에 사용자 주소 정보를 합쳐서 보고 싶어."이런 질문에 답하려면 스트림즈 애플리케이션은 기억력을 가져야 합니다. 즉, 이전 데이터를 저장하고 있어야 하죠.오늘 [9편]에서는 카프카 스트림즈의 진정한 강력함, 상태 기반 처리(Stateful Processing)와 시간을 다루는 윈도우잉(Windowing) 기술에 대해 깊이 있게 알아보겠습..

안녕하세요! 여러분의 기술 성장을 돕는 IT 러닝메이트, 팬돌프입니다.지난 [7편]에서는 카프카 커넥트(Kafka Connect)를 통해 코딩 없이 데이터를 카프카로 가져오고 내보내는 법을 배웠습니다. 이제 데이터 파이프라인은 완성되었습니다.하지만 단순히 데이터를 A에서 B로 옮기는 것만으로는 부족할 때가 많습니다. 데이터가 흐르는 그 순간에, 불필요한 데이터를 걸러내거나(Filter), 포맷을 변경하거나(Map), 실시간으로 집계(Count)를 해야 한다면 어떻게 해야 할까요?오늘 소개해 드릴 카프카 스트림즈(Kafka Streams)가 바로 그 해답입니다. 별도의 무거운 클러스터 없이도 강력한 실시간 분석 애플리케이션을 만들 수 있는 비결, 지금 바로 공개합니다![8편] 카프카 생태계 확장 (2) -..