[AWS] Amazon SageMaker 사용법 정리
·
개발 (Development)/AWS
머신러닝 모델을 실제 서비스에 적용하려면 데이터 준비, 모델 학습, 배포라는 과정이 필요합니다. Amazon SageMaker는 이 전체 과정을 하나의 관리형 플랫폼에서 제공하기 때문에, 인프라 관리 부담을 줄이고 빠르게 모델을 운영할 수 있도록 돕습니다. 이번 글에서는 SageMaker 사용법을 단계별로 정리하겠습니다.1. SageMaker의 기본 개념SageMaker는 크게 세 가지 단계를 중심으로 구성됩니다.데이터 준비: 데이터를 Amazon S3에 업로드하고 전처리 수행모델 학습: 내장 알고리즘, 프레임워크(TensorFlow, PyTorch 등), 혹은 사용자 정의 코드 활용배포 및 추론: 학습된 모델을 엔드포인트로 배포하거나 배치 추론 실행이 구조 덕분에 머신러닝 파이프라인을 통합적으로 관리할..
[Tech Trends] 인터넷에 퍼지는 AI 생성 글, 혁신인가 혼란인가
·
기술 동향 (Tech Trends)
인터넷 세상이 급격히 바뀌고 있다. AI가 작성한 글이 온라인 공간을 채우는 비율이 기하급수적으로 늘어나고 있기 때문이다. 2025년 한 조사에 따르면 새로 만들어진 웹페이지 중 약 70% 이상이 AI 생성 문장을 포함하고 있었다는 분석이 나왔다. 이는 단순한 기술 트렌드를 넘어, 정보의 질·신뢰성·윤리 문제까지 사회 전반에 영향을 미치는 변화다.정확성: “겉보기엔 그럴듯하지만, 오류 위험은 상존한다”AI는 방대한 데이터를 바탕으로 문장을 생성한다. 그러나 사실 검증 능력은 여전히 부족하다. 2023년 미국에서는 한 변호사가 ChatGPT가 제시한 가짜 판례를 그대로 인용했다가 법원에서 제재를 받은 사건이 있었다. 언론사 CNET도 금융 정보를 AI로 작성했다가 절반 가까운 기사에서 오류를 발견해 정정했..
[AWS] ECR 리포지토리에서 모든 이미지 태그 조회하기
·
개발 (Development)/AWS
쿠버네티스 클러스터 안에서 사용하는 이미지를 확인하는 경우에는 kubectl 명령어를 이용하면 되지만, 이번에는 ECR(Amazon Elastic Container Registry)에 저장된 이미지 태그 목록을 조회하는 방법을 정리해보겠습니다.1. 특정 리포지토리의 모든 태그 조회가장 기본적인 방법은 list-images 명령어를 사용하는 것입니다.aws ecr list-images \ --repository-name \ --query 'imageIds[*].imageTag' \ --output text이렇게 실행하면 해당 리포지토리에 저장된 모든 태그가 공백으로 구분되어 출력됩니다.2. 태그가 없는 이미지까지 포함해서 조회일부 이미지에는 태그가 붙어있지 않을 수 있습니다. 이 경우에는 tagSt..
[Python] requests에서 대량 배열 전송 시 403 오류 해결
·
개발 (Development)/Python
문제 상황Python requests 라이브러리로 API에 PUT/POST 요청을 보낼 때, 배열 길이가 100개를 초과하면 403 Forbidden 오류가 발생했습니다.같은 API를 브라우저 UI나 Postman에서 호출하면 정상 동작했기 때문에, Python에서의 요청 형식에 문제가 있다고 판단했습니다.원인 분석requests 자체 제한 없음: 라이브러리 차원에서 배열 크기나 본문 길이를 제한하지는 않습니다.직렬화 방식 차이: json= 옵션은 기본적으로 ensure_ascii=True, 직렬화 시 공백 포함 → 바디가 불필요하게 길어짐.전송 형식 차이: Content-Length가 명확히 지정되지 않거나 청크드 전송이 되면, 보안 장비(WAF)가 차단할 수 있음.UI와 차이: 브라우저/포스트맨은 항..
[Linux] Bash에서 `source` 명령어 사용법 정리
·
개발 (Development)/Linux
리눅스나 macOS 환경에서 개발 작업을 하다 보면 source 명령어를 자주 접하게 됩니다. 특히 AWS나 기타 서비스의 인증 토큰을 담은 token.sh 같은 스크립트를 불러올 때 자주 활용됩니다. 이번 글에서는 source 명령어가 무엇인지, 왜 필요한지, 그리고 실제 활용 방법을 정리해보겠습니다.1. source 명령어란?source는 쉘 내장 명령어로, 스크립트 파일을 새로운 프로세스가 아닌 현재 쉘에서 실행하게 합니다.즉, 파일 안에 들어 있는 export 같은 환경 변수 설정이 현재 터미널 세션에 그대로 반영됩니다.실행 방식: source 짧은 축약형: . 2. bash 과의 차이많은 분들이 bash token.sh처럼 실행하는데, 이렇게 하면 새로운 하위 셸에서 실행됩니다.하위 셸이 종료되..