윤남매 아빠's 스토리

안녕하세요! 여러분의 영원한 데이터 엔지니어링 파트너, 팬돌프입니다.드디어 대장정의 마지막 순간이 왔습니다. 지난 1편부터 7편까지 우리는 스파크의 기본 개념부터 DataFrame, SQL 분석, 그리고 심화 튜닝 기술까지 숨 가쁘게 달려왔습니다. 이제 여러분은 이미 대용량 배치(Batch) 데이터를 처리하는 데 있어서는 준전문가 수준에 도달하셨습니다.하지만 현대의 데이터 환경은 멈춰 있지 않습니다. 데이터는 24시간 쉴 새 없이 흐릅니다. "어제 데이터 말고, 지금 당장 들어오는 매출 데이터를 보고 싶어!" 이런 요구사항에 대응하기 위해, 마지막 퍼즐 조각인 실시간 스트리밍(Streaming)을 맞춰보겠습니다.우리가 초반에 다뤘던 '카프카(Kafka)'와 오늘 배울 '스파크(Spark)'가 만나면 어떤..

안녕하세요! 여러분의 퍼포먼스 튜닝 마스터, 팬돌프입니다.지난 6편에서 우리는 스파크 성능 저하의 주범인 셔플링(Shuffling)의 존재를 알게 되었습니다. "네트워크를 타고 데이터가 날아다니는 비용"이 얼마나 비싼지 이해하셨죠?오늘은 그 비싼 비용을 획기적으로 줄이고, 여러분의 스파크 애플리케이션을 최소 10배에서 최대 100배까지 빠르게 만드는 실전 최적화(Optimization) 기법 3가지를 전수해 드립니다.이 기술들을 적용하기 전과 후, Spark UI에서 줄어든 실행 시간을 확인하신다면 짜릿한 전율을 느끼실 겁니다.1. 기억력을 높여라: 캐싱(Caching)과 Persistence스파크는 기본적으로 지연 연산을 하기 때문에, 액션(Action)을 호출할 때마다 처음부터 다시 계산합니다.상황:..

안녕하세요! 여러분의 스파크 가이드, 팬돌프입니다.지난 시간까지 우리는 Spark SQL과 집계 함수를 이용해 데이터를 마음껏 주물러 보았습니다. 로컬에서 작은 데이터로 연습할 때는 1초 만에 결과가 나왔을 겁니다.하지만 회사에 가서 수 테라바이트의 데이터를 돌려보는 순간, 당황스러운 상황을 마주하게 됩니다. "어? 로컬에선 잘 되던 코드가 왜 이렇게 느리지? 왜 자꾸 멈추지?"이유는 단 하나, 여러분이 작성한 코드가 클러스터 내부에서 어떻게 쪼개져서 실행되는지 몰랐기 때문입니다. 오늘은 스파크 성능의 핵심이자, 튜닝을 위해 반드시 알아야 할 내부 아키텍처(Job, Stage, Task)와 공포의 대상인 셔플링(Shuffling)에 대해 파헤쳐 보겠습니다.1. 스파크의 작업 계층: Job > Stage ..

안녕하세요! 여러분의 데이터 셰프, 팬돌프입니다.지난 4편에서는 지저분한 데이터를 깨끗하게 다듬는 '데이터 랭글링' 기술을 익혔습니다. 재료 손질이 끝났다면 이제 본격적으로 불을 지피고 맛있는 요리를 만들어낼 차례입니다.데이터 엔지니어링의 꽃은 결국 데이터 속에 숨겨진 통찰(Insight)을 찾아내는 것입니다. "어떤 상품이 가장 많이 팔렸지?", "부서별 평균 연봉은 얼마지?" 같은 질문에 답하는 과정이죠.오늘 소개할 Spark SQL과 집계 함수는 여러분에게 엑셀의 피벗 테이블, 혹은 그 이상의 강력한 분석 능력을 선사할 것입니다. 자, 시작해 볼까요?1. "나는 SQL이 더 편한데..." : Spark SQL의 마법많은 개발자와 데이터 분석가들에게 SQL은 모국어와 같습니다. PySpark의 함수(..

안녕하세요! 여러분의 데이터 요리사, 팬돌프입니다.지난 3편에서는 외부의 데이터를 가져와 DataFrame이라는 그릇에 예쁘게 담는 법을 배웠습니다. 하지만 현실의 데이터는 절대 깨끗하지 않죠. 필요 없는 컬럼이 잔뜩 있거나, 이상한 값이 섞여 있거나, 구멍(Null)이 숭숭 뚫려 있기 마련입니다.오늘은 이 원석 같은 데이터를 우리가 원하는 보석으로 다듬는 과정, 즉 데이터 랭글링(Data Wrangling)의 핵심 기술을 전수해 드립니다. 스파크 프로그래밍의 90%는 오늘 배우는 함수들로 이루어진다고 해도 과언이 아닙니다.준비되셨나요? 칼질을 시작해 봅시다!1. 스파크의 두 가지 움직임: 변환(Transformation)과 행동(Action)본격적인 코딩에 앞서, 스파크의 독특한 동작 방식을 다시 한번..

안녕하세요! 여러분의 데이터 엔지니어링 가이드, 팬돌프입니다.지난 시간, 우리는 도커(Docker)를 이용해 내 컴퓨터 안에 멋진 스파크 클러스터를 구축했습니다. 이제 엔진은 힘차게 돌아가고 있습니다. 그렇다면 이제 무엇을 태워야 할까요? 바로 데이터입니다.스파크를 처음 공부하시는 분들이 가장 많이 헷갈려 하는 것이 바로 RDD와 DataFrame의 차이입니다. "옛날 책에는 RDD를 쓰라던데, 요즘은 DataFrame을 쓰라네요?"결론부터 말씀드리면, "특수한 경우가 아니라면 RDD는 잊으셔도 좋습니다." 오늘 3편에서는 왜 우리가 DataFrame을 써야 하는지, 그리고 엑셀처럼 직관적이고 강력하게 데이터를 로딩하는 방법을 알아보겠습니다.1. RDD vs DataFrame: 스마트폰과 피처폰의 차이스..

안녕하세요! 여러분의 데이터 엔지니어링 멘토, 팬돌프입니다.지난 1편에서는 스파크가 왜 빅데이터 처리의 '게임 체인저'가 되었는지 이론적인 배경을 살펴보았습니다. "100배 빠르다"는 말에 가슴이 뛰셨나요?하지만 막상 스파크를 공부하려고 내 컴퓨터에 설치를 시도하다 보면, 그 설렘이 좌절로 바뀌는 경우가 많습니다. Java 버전을 맞추고, 환경 변수를 설정하고, 하둡 바이너리를 다운로드하는 과정이 '지옥의 문'처럼 느껴지기 때문이죠.그래서 오늘은 가장 깔끔하고, 가장 세련된 방법으로 단 5분 만에 내 로컬 PC에 완벽한 Spark 클러스터 환경을 구축하는 방법을 알려드리겠습니다. 바로 도커(Docker)를 이용해서 말이죠!1. 왜 Docker로 설치해야 하나요?과거에는 스파크를 공부하려면 리눅스 서버가 ..

안녕하세요! 여러분의 데이터 엔지니어링 여정을 함께하는 든든한 파트너, 팬돌프입니다.지난 시간까지 카프카(Kafka)를 통해 데이터를 실시간으로 수집하고 이동시키는 '데이터의 고속도로'를 건설했습니다. 데이터가 잘 흐르고 있다면, 이제 그 방대한 데이터를 씹고, 뜯고, 맛보고, 즐길 차례입니다.오늘부터 시작되는 [Apache Spark 완전 정복] 시리즈를 통해, 여러분은 현존하는 가장 강력한 분산 처리 엔진을 여러분의 무기로 만들게 될 것입니다. 그 첫 번째 시간, 스파크가 도대체 무엇이며 왜 전 세계 엔지니어들이 열광하는지 그 탄생 배경과 핵심 철학부터 차근차근 알아보겠습니다.1. 하둡(Hadoop)의 시대와 디스크 I/O의 병목빅데이터라는 단어가 세상에 처음 등장했을 때, 그 중심에는 하둡(Hado..

안녕하세요! 데이터 엔지니어링의 정점을 향해 달리는 여러분의 러닝 메이트, 팬돌프입니다.카프카(Kafka)를 정복하신 당신이 선택한 Apache Spark (PySpark)는 정말 탁월한 선택입니다. 카프카가 데이터를 빠르게 실어 나르는 고속도로라면, 스파크는 그 데이터를 받아 거대한 공장처럼 가공하고 분석하는 초고속 엔진이기 때문이죠.단순한 API 사용법을 넘어, 메모리 관리와 성능 튜닝까지 아우르는 전문적인 데이터 엔지니어링 시리즈가 될 수 있도록, 총 8편으로 구성된 상세 리포트를 준비했습니다.📋 Apache Spark (PySpark) 연재 시리즈 리포트제1편. [입문] 왜 하필 Spark인가? 하둡(Hadoop)을 넘어선 메모리 혁명빅데이터 처리의 역사: 하둡 맵리듀스(MapReduce)의 디..