본문으로 건너뛰기
aws검색
데이터베이스와 분석

분석과 레이크하우스 (Redshift, Athena, Glue, EMR, Lake Formation, SageMaker Unified Studio)

S3 데이터 레이크 위에서 Athena, Glue, EMR 로 처리하고 Redshift 로 웨어하우스를 운영하는 구조, Lake Formation 의 세밀한 권한, 그리고 이 모두를 한 화면으로 묶은 차세대 Amazon SageMaker(Unified Studio, 레이크하우스 아키텍처, Catalog)를 정리합니다.

RedshiftAthenaGlueLake FormationSageMaker Unified Studio2026-10 기준, 약 8분상태 표시 설명

전체 그림

AWS 분석 스택은 저장(S3, S3 Tables, Redshift 관리형 스토리지), 카탈로그(Glue Data Catalog), 권한(Lake Formation), 엔진(Athena, Redshift, EMR, Glue) 으로 나뉩니다. 2024-12 re:Invent 에서 발표되고 2025-03 에 Unified Studio 가 GA 된 차세대 Amazon SageMaker 는 이 조각들을 하나의 작업 공간으로 묶었습니다. 원래 머신러닝 서비스였던 SageMaker 는 SageMaker AI 로 이름이 바뀌어 그 안의 한 부분이 됐습니다.

층서비스핵심
저장S3(Parquet, Iceberg), S3 Tables, Redshift열 지향 포맷과 Iceberg 테이블이 기본
카탈로그Glue Data Catalog테이블 정의의 단일 원천. Iceberg REST 엔드포인트 제공
권한Lake Formation, SageMaker Catalog열, 행, 셀 수준 권한, 태그 기반 권한
엔진Athena, Redshift, EMR, Glue대화형 SQL, 웨어하우스, 대규모 Spark
작업 공간SageMaker Unified StudioSQL 편집기, 노트북, 워크플로, 생성형 AI 를 한 곳에서

Athena

Athena 는 S3 위의 데이터를 서버 없이 SQL(Trino 기반)로 조회합니다. 요금은 기본적으로 스캔한 데이터 양에 붙습니다. 그래서 같은 쿼리도 데이터 포맷에 따라 비용이 수십 배 차이 납니다.

  1. CSV, JSON 대신 Parquet 이나 Iceberg 로 저장합니다. 필요한 열만 읽습니다.
  2. 파티션(날짜 등)으로 나누고 WHERE 절에 파티션 키를 씁니다. 파티션이 많으면 파티션 프로젝션으로 카탈로그 조회를 줄입니다.
  3. 작은 파일이 수백만 개면 느립니다. 128 MB 이상으로 모읍니다.
  4. 워크그룹마다 쿼리당 스캔 한도를 걸어 실수로 테이블 전체를 읽는 쿼리를 막습니다.
CREATE TABLE logs.alb_daily
WITH (table_type = 'ICEBERG', location = 's3://lake-prod/alb_daily/', is_external = false,
      partitioning = ARRAY['day(request_time)'])
AS SELECT * FROM logs.alb_raw WHERE request_time >= timestamp '2026-10-01 00:00:00';

꾸준히 많이 쓰면 스캔량 과금 대신 프로비저닝된 용량(DPU) 으로 바꿔 비용을 고정할 수 있습니다.

Glue

  • Data Catalog: Athena, Redshift Spectrum, EMR, Lake Formation 이 함께 보는 메타데이터 저장소입니다.
  • 크롤러: S3 를 훑어 스키마를 추정합니다. 운영 파이프라인에서는 크롤러보다 ETL 작업이 테이블을 직접 등록, 갱신하는 편이 예측 가능합니다.
  • ETL 작업: Spark 기반(Glue 5.x), Python Shell. DPU 시간으로 과금하고, 작은 작업은 Flex 실행으로 싸게 돌립니다.
  • Glue Ray 작업은 2026-04-30 부터 신규 고객을 받지 않는 Maint 단계입니다. 새 파이프라인은 Spark 작업이나 다른 엔진을 고릅니다.
  • 제로 ETL 통합: Aurora, RDS, DynamoDB, Salesforce, SAP 같은 소스에서 Redshift 나 레이크하우스로 파이프라인 코드 없이 거의 실시간 복제합니다.

EMR

Spark, Hive, Trino, Flink 를 대규모로 돌리는 관리형 빅데이터 플랫폼입니다. 배포 방식이 셋입니다.

방식특징
EMR on EC2클러스터를 직접 구성. 스팟 인스턴스 플릿으로 비용 절감, 장기 실행 클러스터
EMR on EKS기존 EKS 클러스터에서 Spark 작업 실행
EMR Serverless클러스터 없이 작업 단위 실행, 초 단위 과금. 대부분의 배치 Spark 에 첫 선택

Redshift

형태특징
Redshift ServerlessRPU 로 자동 확장, 쓴 시간만 과금. 기본 RPU 와 최대 RPU 로 비용 상한
프로비저닝(RA3)노드 유형과 수를 정함. 관리형 스토리지로 컴퓨트와 저장 분리, 예약 노드 할인
  • 데이터 공유: 데이터를 복사하지 않고 다른 클러스터, 다른 계정이 읽게 합니다. 쓰기 클러스터와 BI 읽기 클러스터를 나눌 때 씁니다.
  • Redshift Spectrum, 레이크하우스 쿼리: S3 의 Iceberg, Parquet 데이터를 Redshift 에서 같이 조인합니다.
  • 테이블 설계의 핵심은 정렬 키와 분산 방식이지만, 지금은 AUTO 옵션이 대부분을 알아서 정합니다. 처음에는 AUTO 로 두고 느린 쿼리만 튜닝합니다.

Lake Formation

S3 데이터 레이크의 권한을 IAM 버킷 정책보다 세밀하게 줍니다.

  • 데이터베이스, 테이블, 열, 행, 셀 단위 권한
  • LF-Tag 기반 권한: domain=sales, pii=true 같은 태그를 테이블과 열에 붙이고 태그 단위로 허용
  • 다른 계정과 테이블 공유(RAM 연동)
  • Athena, Redshift Spectrum, EMR, Glue 가 Lake Formation 권한을 존중합니다
aws lakeformation grant-permissions --principal DataLakePrincipalIdentifier=arn:aws:iam::111122223333:role/analyst \
  --permissions SELECT --resource '{"LFTagPolicy":{"ResourceType":"TABLE","Expression":[{"TagKey":"domain","TagValues":["sales"]},{"TagKey":"pii","TagValues":["false"]}]}}'

차세대 SageMaker 와 Unified Studio

Amazon SageMaker Unified Studio(2025-03 GA)는 EMR, Glue, Athena, Redshift, MWAA, Bedrock, SageMaker AI 의 기능을 한 작업 공간에서 씁니다. 도메인과 프로젝트 단위로 사람과 데이터를 묶고, 프로젝트마다 권한과 컴퓨팅이 따라옵니다.

  • 레이크하우스 아키텍처: S3 데이터 레이크와 Redshift 웨어하우스를 Iceberg 호환 방식으로 하나의 카탈로그에서 다룹니다. S3 Tables 도 여기에 붙고, DynamoDB, BigQuery, Snowflake 같은 외부 소스는 연합 쿼리로 읽습니다.
  • SageMaker Catalog: 비즈니스 메타데이터, 데이터 품질, 계보(lineage), 게시와 구독 워크플로로 데이터 제품을 공유합니다(DataZone 기반).
  • SQL 분석은 Athena 와 Redshift 엔진 중에서 고르고, 노트북에서는 Spark 와 Python 을 씁니다.

기존에 Athena, Glue, Redshift 를 따로 잘 쓰고 있다면 당장 옮길 필요는 없습니다. 여러 팀이 데이터를 찾고 구독하는 거버넌스가 필요해질 때 Unified Studio 의 가치가 커집니다. 대시보드는 QuickSight 를 품은 Amazon Quick 쪽에서 다룹니다.

비용과 성능 팁

  • Parquet, Iceberg 와 파티션이 모든 엔진의 비용을 같이 줄입니다.
  • Redshift Serverless 는 최대 RPU 와 사용량 한도를 꼭 겁니다.
  • EMR 은 작업 노드를 스팟으로, 코어 노드는 온디맨드로 둡니다.
  • Glue 작업은 자동 확장(Auto Scaling)과 작업 북마크로 다시 읽는 양을 줄입니다.
  • S3 에서 분석 엔진으로 읽는 데이터는 같은 리전이면 전송 요금이 없지만, 리전을 넘으면 붙습니다. 레이크와 엔진은 같은 리전에 둡니다.

이 문서에서