반응형

Real-Time Data 2

[Kafka] 15. 시리즈를 마치며 - 카프카와 함께하는 데이터 엔지니어의 미래

안녕하십니까! 여러분의 영원한 IT 러닝메이트, 팬돌프입니다.약 두 달간의 대장정이었습니다. [1편]에서 "왜 카프카인가?"라는 질문으로 시작했던 우리의 여행이, 어느덧 [15편]이라는 종착역에 도착했습니다.그동안 제 블로그를 찾아주시고, 긴 글을 읽으며 함께 고민해 주신 모든 개발자분께 진심으로 감사의 말씀을 드립니다. 여러분의 열정 덕분에 저 또한 다시 한번 깊이 있게 공부할 수 있었습니다.오늘은 이 긴 여정을 갈무리하는 총정리 시간과 함께, 앞으로 카프카가 데이터 생태계에서 어떤 모습으로 진화할지, 그리고 여러분의 커리어에 어떤 영향을 미칠지 이야기하며 시리즈의 마침표를 찍으려 합니다.마지막까지 힘차게 달려볼까요?[15편] 시리즈를 마치며 - 카프카와 함께하는 데이터 엔지니어의 미래1. 우리가 걸어..

[Kafka] 8. 카프카 생태계 확장 (2) - 실시간 처리의 시작, 카프카 스트림즈 (Kafka Streams)

안녕하세요! 여러분의 기술 성장을 돕는 IT 러닝메이트, 팬돌프입니다.지난 [7편]에서는 카프카 커넥트(Kafka Connect)를 통해 코딩 없이 데이터를 카프카로 가져오고 내보내는 법을 배웠습니다. 이제 데이터 파이프라인은 완성되었습니다.하지만 단순히 데이터를 A에서 B로 옮기는 것만으로는 부족할 때가 많습니다. 데이터가 흐르는 그 순간에, 불필요한 데이터를 걸러내거나(Filter), 포맷을 변경하거나(Map), 실시간으로 집계(Count)를 해야 한다면 어떻게 해야 할까요?오늘 소개해 드릴 카프카 스트림즈(Kafka Streams)가 바로 그 해답입니다. 별도의 무거운 클러스터 없이도 강력한 실시간 분석 애플리케이션을 만들 수 있는 비결, 지금 바로 공개합니다![8편] 카프카 생태계 확장 (2) -..

반응형