안녕하세요! 여러분의 데이터 엔지니어링 여정을 함께하는 든든한 파트너, 팬돌프입니다.지난 시간까지 카프카(Kafka)를 통해 데이터를 실시간으로 수집하고 이동시키는 '데이터의 고속도로'를 건설했습니다. 데이터가 잘 흐르고 있다면, 이제 그 방대한 데이터를 씹고, 뜯고, 맛보고, 즐길 차례입니다.오늘부터 시작되는 [Apache Spark 완전 정복] 시리즈를 통해, 여러분은 현존하는 가장 강력한 분산 처리 엔진을 여러분의 무기로 만들게 될 것입니다. 그 첫 번째 시간, 스파크가 도대체 무엇이며 왜 전 세계 엔지니어들이 열광하는지 그 탄생 배경과 핵심 철학부터 차근차근 알아보겠습니다.1. 하둡(Hadoop)의 시대와 디스크 I/O의 병목빅데이터라는 단어가 세상에 처음 등장했을 때, 그 중심에는 하둡(Hado..
