안녕하세요! 여러분의 데이터 아키텍처 길잡이, 팬돌프입니다.지난 1편에서는 왜 우리가 디렉토리 기반의 Hive 방식을 버리고, Apache Iceberg라는 새로운 테이블 포맷을 선택해야 하는지 그 배경을 알아보았습니다. "파일이 아닌 메타데이터로 관리한다"는 개념, 기억나시나요?하지만 "메타데이터로 관리한다"는 말이 정확히 무슨 뜻일까요? 단순히 파일 목록을 적어놓은 메모장 같은 걸까요?Iceberg가 수십 억 개의 파일 중에서 내가 원하는 데이터를 0.1초 만에 찾아내는 비결은 바로 치밀하게 설계된 계층형 메타데이터 구조에 있습니다. 오늘은 엔지니어들이 가장 궁금해하고, 또 가장 어려워하는 Iceberg의 내부 해부도를 아주 상세하게 펼쳐보겠습니다.1. 디렉토리(Directory)가 아닌 트리(Tre..