[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파이프라인 4. 운영 효율과 성능 개선을 위한 고려사항 5. 도입 후 결과와 사용 사례 6. 크림 데이터 플랫폼의 향후 목표 대상 - Lakehouse 설계와 실제 구현 경험에 관심 있는 분 - 조직 전반의 데이터 활용 역량을 어떻게 높일 수 있을지 고민하는 분 - 데이터 인프라 개선이 조직의 생산성·비즈니스 영역에 미치는 영향이 궁금한 분 #DAN #DAN25 #TEAMNAVERCONFERENCE