최근 업무 중에 Amazon S3에서 업로드한 파일에 대해 외부 사용자와 공유해야 할 일이 생겼습니다. 단순히 presigned URL로는 해결이 어려운 상황이었고, 결국 객체 자체의 접근 권한(ACL)을 변경해야 했습니다. 이때 처음 접한 개념이 바로 PutObjectAcl 이었습니다.PutObjectAcl은 어떤 역할을 할까?간단히 말하면, PutObjectAcl은 S3에 올라간 객체(파일)에 대해 누가 접근할 수 있는지를 설정하는 기능입니다. ACL(Access Control List)이라는 이름처럼, 객체별로 읽기/쓰기 권한을 세밀하게 제어할 수 있게 해줍니다.처음에는 버킷 정책으로 충분하지 않을까 싶었는데, 버킷 단위와 객체 단위는 다르게 동작합니다. 실제로 특정 파일 하나만 공개해야 하는 경우..

AWS Elastic Container Registry(ECR)를 사용할 때, MFA(Multi-Factor Authentication)가 활성화된 계정을 이용하는 경우에는 매번 임시 세션 토큰을 발급받아야만 인증이 가능합니다. 이 과정을 수동으로 반복하다 보면 번거롭고 비효율적일 수 있습니다. 특히 Docker로 이미지를 푸시하거나 풀(Pull)하는 작업이 잦은 경우에는 인증 절차를 자동화하는 것이 큰 도움이 됩니다.이 글에서는 Windows 환경에서 배치 파일(.bat)을 사용하여 AWS CLI와 Docker 로그인을 자동화하는 방법을 소개합니다. 사용자로부터 MFA 코드를 입력받아 임시 자격 증명을 발급받고, 해당 자격 증명을 사용해 ECR에 로그인하는 과정을 자동화합니다.사전 준비 사항자동화 스크..

AWS S3는 유연한 저장소이기 때문에, 같은 S3 버킷이라도 어떤 방식으로 데이터를 저장하고 활용하느냐에 따라 데이터 레이크로도, 데이터 웨어하우스의 일부로도 사용될 수 있습니다. 실무에서는 두 개념을 혼용하거나 병행해서 사용하는 경우도 많기 때문에, 이 글에서는 두 개념의 차이를 먼저 정리하고, 실제로 어떤 방식으로 확인할 수 있는지를 중심으로 정리해보았습니다.데이터 레이크 vs 데이터 웨어하우스항목데이터 레이크데이터 웨어하우스저장 형식정형 + 반정형 + 비정형 (CSV, JSON, 이미지 등)정형 (주로 Parquet, ORC, CSV)스키마 처리schema-on-read (나중에 스키마 적용)schema-on-write (저장 전 스키마 적용)데이터 형태원시(raw) 데이터정제된 데이터주요 도구A..