Python을 사용하여 특정 폴더 내의 .tar 파일들을 찾아 각각 docker load -i [file.tar] 명령어를 실행하는 방법을 정리합니다.1. 코드 구현다음은 Python 코드로 특정 폴더에서 .tar 파일을 찾아 Docker에 로드하는 방법입니다.import osimport subprocess# 대상 폴더 설정 (현재 디렉토리 기준)target_folder = "./images"# 폴더 내의 모든 .tar 파일 찾기tar_files = [f for f in os.listdir(target_folder) if f.endswith(".tar")]# 각 .tar 파일을 docker load 실행for tar_file in tar_files: tar_path = os.path.join(tar..

pandas를 이용한 DataFrame 차집합 구하기두 DataFrame 간 특정 컬럼을 기준으로 데이터 차집합을 구하는 방법은 데이터를 정리하고 분석할 때 자주 사용됩니다. 예를 들어, 두 데이터셋의 공통 컬럼을 기준으로 df_a에는 존재하지만 df_b에는 없는 데이터를 필터링하고 싶을 때 pandas를 사용하여 쉽게 구현할 수 있습니다.여기서는 physical_name이라는 컬럼을 기준으로 df_a - df_b의 차집합을 구하는 방법을 소개합니다.예제 데이터 생성import pandas as pd# DataFrame 예시 생성df_a = pd.DataFrame({ 'physical_name': ['a', 'b', 'c', 'd'], 'value': [1, 2, 3, 4]})df_b = pd..

데이터 분석이나 시스템 통합 작업에서는 서로 다른 데이터베이스에 저장된 정보를 통합하고 비교해야 하는 경우가 많습니다. 이번 글에서는 서로 다른 PostgreSQL 데이터베이스 쿼리 결과를 Python으로 가져와 비교하고, 엑셀 파일의 정보를 매핑하여 유사도를 계산하는 전체 과정을 설명합니다.문제 정의두 개의 PostgreSQL 데이터베이스에서 각각 데이터를 쿼리합니다.쿼리 결과를 조인하여 하나의 데이터프레임으로 병합합니다.병합된 데이터프레임을 엑셀 파일과 비교하여 태그 정보를 매핑합니다.엑셀 파일에 있는 details 컬럼과 병합된 데이터의 description을 비교하여 유사도를 계산합니다.데이터 처리 단계1. PostgreSQL 데이터베이스 연결 및 쿼리 실행서로 다른 데이터베이스에서 쿼리 결과를 ..

이번 글에서는 Python을 사용하여 두 개의 Excel 파일(A.xlsx, B.xlsx)에서 특정 컬럼(description)의 각 요소를 비교하고, 가장 유사한 값을 찾아내는 과정을 정리합니다. 유사도 기준은 60~70%로 설정하고, 결과를 Excel 파일로 저장합니다.주요 목표Excel 파일 간 특정 컬럼의 문장 유사도 비교A의 각 문장에 대해 B에서 가장 유사한 문장을 찾아내기유사도 결과를 새로운 Excel 파일로 저장하기1. 필요한 라이브러리 설치먼저 아래 라이브러리를 설치합니다.pip install pandas openpyxl scikit-learnpandas: Excel 파일을 읽고 쓰기 위해 필요합니다.openpyxl: .xlsx 파일 포맷을 처리합니다.scikit-learn: Jaccar..

엑셀 파일 자동화: 파이썬으로 여러 시트 간 데이터 비교 및 필터링엑셀 작업을 자동화하려는 경우, 특히 여러 파일과 시트를 다루며 특정 조건에 따라 데이터를 필터링해야 할 때, 파이썬을 활용하면 효율적이고 반복 가능한 작업을 수행할 수 있습니다. 이번 글에서는 다음과 같은 상황을 가정하고, 이를 해결하기 위한 파이썬 코드를 단계별로 설명합니다.상황 설명A 파일: 단일 시트로 구성된 엑셀 파일입니다.B 파일: 여러 시트로 구성된 엑셀 파일입니다.목표: B 파일의 특정 컬럼 값이 A 파일에 존재하는 경우만 A 파일에 남겨 새로운 엑셀 파일로 저장합니다.파이썬 코드 설명필요한 라이브러리pip install pandas openpyxl전체 코드import pandas as pd# 파일 경로 설정a_file_pa..