데이터 분석이나 시스템 연동 작업을 하다 보면 JSON 데이터를 CSV 형식으로 변환해야 할 때가 많습니다. Python에서는 이를 간단한 코드로 처리할 수 있습니다. 이번 글에서는 JSON 파일을 CSV로 변환하는 코드를 소개하고, 주요 개념과 사용 방법까지 정리해 보았습니다.JSON 데이터를 CSV로 변환하는 이유CSV는 엑셀 등 다양한 도구에서 쉽게 다룰 수 있는 형식입니다.반면 JSON은 계층 구조로 되어 있어 사람이 직접 보기엔 불편할 수 있습니다.Python을 이용하면 간단히 JSON 파일을 읽고, CSV 파일로 저장할 수 있습니다.Python 코드 예시아래 코드는 JSON 파일을 읽어서, 그 내용을 CSV 형식으로 저장해주는 간단한 스크립트입니다.import jsonimport csv# JS..

대량의 데이터를 처리할 때, 전체를 한 번에 다루기보다는 일정 단위로 나누어 처리하는 방식이 안정성과 효율성 측면에서 매우 중요합니다. 특히 데이터베이스 저장, 외부 API 호출, 파일 저장 등에서 과부하를 방지하기 위해 자주 사용됩니다. 이번 글에서는 Python에서 배열을 1000개 단위로 잘라 반복 처리하는 실용적인 코드를 소개합니다.문제 상황예를 들어, 수만 건의 데이터를 다룰 때 이를 한 번에 처리하려 하면 다음과 같은 문제가 발생할 수 있습니다.데이터 크기가 너무 커서 메모리 부담이 큼API 요청 횟수 또는 처리 용량에 제한이 있음에러 발생 시 어느 구간에서 문제가 생겼는지 파악하기 어려움이런 상황에서 데이터를 1000개 단위로 나누어 처리하면 안정성, 추적 가능성, 오류 회피에 큰 도움이 됩..

Pandas를 사용하다 보면 DataFrame의 특정 값을 분명히 수정했음에도 불구하고, 실제로 반영되지 않거나 경고 메시지가 출력되는 경우가 있습니다. 본 글에서는 이런 문제가 왜 발생하는지, 어떻게 해결할 수 있는지에 대해 구체적으로 설명드리겠습니다.문제 상황: 분명히 값을 수정했는데 반영되지 않음다음과 같이 조건에 맞는 행을 추출한 후 값을 변경했지만, 원본에는 적용되지 않는 경우가 종종 있습니다.df = original_df[original_df['score'] > 60]df['grade'] = 'Pass'위 코드는 실행 시 SettingWithCopyWarning이라는 경고를 출력하며, 때때로 실제 데이터는 수정되지 않은 채 남아 있게 됩니다. 이 경고는 많은 사용자들이 처음 Pandas를 사용..

pandas를 사용하다 보면 DataFrame의 각 행을 순회하면서 특정 컬럼의 값을 조건에 따라 변경해야 할 때가 있습니다. 가장 직관적인 방법은 for문을 사용하는 것이며, 본 글에서는 그 기본 사용법을 소개합니다.1. 예시 데이터프레임 생성우선 간단한 예시 데이터프레임을 생성합니다.import pandas as pddf = pd.DataFrame({ 'name': ['Alice', 'Bob', 'Charlie'], 'score': [85, 90, 78]})2. for문으로 특정 컬럼 값 변경이제 for문을 통해 score 컬럼이 80보다 작은 경우, 해당 값을 80으로 변경해보겠습니다.for idx, row in df.iterrows(): if row['score'] 이 코드는 각 ..

Python을 사용하여 특정 폴더 내의 .tar 파일들을 찾아 각각 docker load -i [file.tar] 명령어를 실행하는 방법을 정리합니다.1. 코드 구현다음은 Python 코드로 특정 폴더에서 .tar 파일을 찾아 Docker에 로드하는 방법입니다.import osimport subprocess# 대상 폴더 설정 (현재 디렉토리 기준)target_folder = "./images"# 폴더 내의 모든 .tar 파일 찾기tar_files = [f for f in os.listdir(target_folder) if f.endswith(".tar")]# 각 .tar 파일을 docker load 실행for tar_file in tar_files: tar_path = os.path.join(tar..