Amazon Bedrock (모델 호출, Guardrails, Knowledge Bases)

Bedrock 이 하는 일

Amazon Bedrock 은 여러 회사의 기초 모델을 하나의 API 와 하나의 IAM, 하나의 청구서로 쓰게 해 주는 서버리스 서비스입니다. 모델 서버를 띄우지 않고, 입력과 출력 토큰만큼 냅니다. 고객의 프롬프트와 응답은 모델 제공사의 학습에 쓰이지 않고, VPC 엔드포인트(PrivateLink)로 인터넷을 거치지 않고 호출할 수 있다는 점이 기업에서 Bedrock 을 고르는 주된 이유입니다.

re:Invent 2025 에서 오픈 웨이트 모델 18 종이 한꺼번에 추가됐고, 2026 년에는 Anthropic 의 Claude Sonnet 5(2026-07 초)와 Claude Opus 5(2026-07 말)가 Bedrock 에 올라왔습니다. OpenAI 모델은 2026-04-28 What's Next with AWS 행사에서 제한된 Preview 로 공개된 뒤, 2026-06-01 에 GPT-5.5, GPT-5.4 와 Codex 가 GA 됐습니다. 같은 행사에서 소개된 Amazon Bedrock Managed Agents, powered by OpenAI 는 2026-10 기준 공식 페이지에 Preview 로 표시되어 있습니다. 모델마다 지원 리전과 단계가 다르니 모델 지원 표를 먼저 확인합니다.

모델 접근과 호출

예전에는 콘솔에서 모델마다 접근 요청을 해야 했지만, 지금은 서버리스 모델 대부분이 기본으로 열려 있고 IAM 정책과 SCP 로 쓸 수 있는 모델을 제한합니다. 일부 제공사 모델은 처음 호출할 때 사용 사례 양식이나 Marketplace 구독이 필요합니다.

import boto3
br = boto3.client("bedrock-runtime", region_name="ap-northeast-2")
MODEL_ID = "<콘솔의 모델 카탈로그에서 복사한 모델 ID 또는 추론 프로필 ID>"
resp = br.converse(
    modelId=MODEL_ID,
    system=[{"text": "당신은 AWS 비용 상담가입니다. 한국어로 짧게 답합니다."}],
    messages=[{"role": "user", "content": [{"text": "NAT Gateway 비용을 줄이는 방법 3 가지"}]}],
    inferenceConfig={"maxTokens": 800, "temperature": 0.2},
)
print(resp["output"]["message"]["content"][0]["text"])
print(resp["usage"])  # inputTokens, outputTokens 로 비용 추적

스트리밍 응답은 converse_stream, 도구 호출은 toolConfig 에 JSON 스키마로 도구를 정의합니다. 모델을 바꿔도 코드가 거의 그대로라는 점이 Converse API 의 장점입니다.

교차 리전 추론

많은 최신 모델은 특정 리전 ID 대신 추론 프로필로 호출합니다. apac. 같은 지역 프로필은 아시아 태평양 리전들 사이에서, global. 프로필은 전 세계 리전 사이에서 요청을 나눠 처리해 처리량과 가용성을 높입니다. 데이터가 어느 리전에서 처리되는지가 규정상 중요하면 지역 프로필을 고르고, 그 목록을 문서로 남깁니다. IAM 정책에는 추론 프로필 ARN 과 대상 리전들의 모델 ARN 을 함께 허용해야 합니다.

서비스 티어와 처리량

Priority 와 Flex 티어는 2025-11 에 추가됐습니다. 야간 요약, 분류 같은 일은 배치나 Flex 로 돌리면 비용이 크게 줄어듭니다. ThrottlingException 이 잦으면 Service Quotas 에서 분당 토큰 한도를 늘려 달라고 요청합니다.

Guardrails

Guardrails 는 모델 앞뒤에서 입력과 출력을 검사합니다. 모델과 독립적이라 Bedrock 밖의 모델 응답에도 ApplyGuardrail API 로 쓸 수 있습니다.

br.converse(
    modelId=MODEL_ID, messages=msgs,
    guardrailConfig={"guardrailIdentifier": "gr-abc123", "guardrailVersion": "3", "trace": "enabled"},
)

Guardrails 는 버전을 만들어 고정된 버전을 운영에 씁니다. DRAFT 를 운영에 연결하면 콘솔에서 고친 내용이 바로 반영되어 사고가 납니다.

Knowledge Bases

Knowledge Bases 는 S3, Confluence, SharePoint, 웹 크롤러 같은 소스의 문서를 잘게 나누고(청킹) 임베딩해 벡터 저장소에 넣은 뒤, 질문이 오면 관련 조각을 찾아 모델에 넘깁니다.

• 벡터 저장소: OpenSearch Serverless, Aurora PostgreSQL(pgvector), Neptune Analytics, 그리고 비용이 낮은 S3 Vectors(2025-12 GA). 자세한 한도는 S3 Tables 와 S3 Vectors 에 있습니다.
• 청킹 전략: 고정 크기, 계층적, 의미 기반. 표와 그림이 많은 PDF 는 고급 파싱(기초 모델 기반 파서)을 켭니다.
• 메타데이터 필터: 부서, 문서 종류로 검색 범위를 줄여 정확도와 권한 분리를 함께 얻습니다.
• API: Retrieve(조각만), RetrieveAndGenerate(답변까지). 답변에 인용 출처가 붙습니다.

팁 RAG 품질 문제의 대부분은 모델이 아니라 검색에서 생깁니다. 먼저 Retrieve 결과만 보고 맞는 조각이 상위에 오는지 확인한 뒤, 청킹과 메타데이터를 고칩니다.

사용자 지정

• 미세 조정: 레이블된 예시로 모델을 조정합니다. 호출에는 프로비저닝된 처리량이나 지원 모델의 온디맨드 사용자 지정 모델 호출이 필요합니다.
• 증류: 큰 모델의 답을 교사로 작은 모델을 가르쳐 단가와 지연을 낮춥니다.
• 강화 미세 조정: re:Invent 2025 에 발표됐습니다. 정답 예시 대신 보상 함수(채점 기준)로 모델을 개선합니다.

대부분은 프롬프트 개선과 RAG 로 충분합니다. 사용자 지정은 그 다음 단계로 생각합니다.

Bedrock Agents Classic 과 이전

예전의 Amazon Bedrock Agents 는 2026-06-30 공지로 이름이 Amazon Bedrock Agents Classic 으로 바뀌었고, 2026-07-30 부터 Maint 단계입니다. 새 고객은 만들 수 없고, 기존 사용자는 계속 쓰지만 새 기능은 들어오지 않습니다. 새 에이전트는 Bedrock AgentCore 위에서 Strands Agents 같은 프레임워크로 만드는 것이 AWS 가 안내하는 방향입니다.

비용과 운영 팁

• 응답의 usage 를 로그로 남기고, 애플리케이션 추론 프로필에 비용 할당 태그를 붙여 팀별로 나눕니다.
• 같은 긴 시스템 프롬프트, 문서를 반복해 보내면 프롬프트 캐싱을 지원 모델에서 켭니다. 캐시된 입력 토큰은 단가가 낮습니다.
• 모델 호출 로깅(CloudWatch Logs, S3)을 켜 두되 개인정보가 로그에 남으니 버킷 권한과 보존 기간을 정합니다.
• 큰 모델 하나로 모든 일을 하지 말고, 분류나 추출은 작은 모델(Nova Lite, Claude Haiku 계열 등)로 나눕니다.