데이터 분석이나 시스템 통합 작업에서는 서로 다른 데이터베이스에 저장된 정보를 통합하고 비교해야 하는 경우가 많습니다. 이번 글에서는 서로 다른 PostgreSQL 데이터베이스 쿼리 결과를 Python으로 가져와 비교하고, 엑셀 파일의 정보를 매핑하여 유사도를 계산하는 전체 과정을 설명합니다.문제 정의두 개의 PostgreSQL 데이터베이스에서 각각 데이터를 쿼리합니다.쿼리 결과를 조인하여 하나의 데이터프레임으로 병합합니다.병합된 데이터프레임을 엑셀 파일과 비교하여 태그 정보를 매핑합니다.엑셀 파일에 있는 details 컬럼과 병합된 데이터의 description을 비교하여 유사도를 계산합니다.데이터 처리 단계1. PostgreSQL 데이터베이스 연결 및 쿼리 실행서로 다른 데이터베이스에서 쿼리 결과를 ..

이번 글에서는 Python을 사용하여 두 개의 Excel 파일(A.xlsx, B.xlsx)에서 특정 컬럼(description)의 각 요소를 비교하고, 가장 유사한 값을 찾아내는 과정을 정리합니다. 유사도 기준은 60~70%로 설정하고, 결과를 Excel 파일로 저장합니다.주요 목표Excel 파일 간 특정 컬럼의 문장 유사도 비교A의 각 문장에 대해 B에서 가장 유사한 문장을 찾아내기유사도 결과를 새로운 Excel 파일로 저장하기1. 필요한 라이브러리 설치먼저 아래 라이브러리를 설치합니다.pip install pandas openpyxl scikit-learnpandas: Excel 파일을 읽고 쓰기 위해 필요합니다.openpyxl: .xlsx 파일 포맷을 처리합니다.scikit-learn: Jaccar..

엑셀 파일 자동화: 파이썬으로 여러 시트 간 데이터 비교 및 필터링엑셀 작업을 자동화하려는 경우, 특히 여러 파일과 시트를 다루며 특정 조건에 따라 데이터를 필터링해야 할 때, 파이썬을 활용하면 효율적이고 반복 가능한 작업을 수행할 수 있습니다. 이번 글에서는 다음과 같은 상황을 가정하고, 이를 해결하기 위한 파이썬 코드를 단계별로 설명합니다.상황 설명A 파일: 단일 시트로 구성된 엑셀 파일입니다.B 파일: 여러 시트로 구성된 엑셀 파일입니다.목표: B 파일의 특정 컬럼 값이 A 파일에 존재하는 경우만 A 파일에 남겨 새로운 엑셀 파일로 저장합니다.파이썬 코드 설명필요한 라이브러리pip install pandas openpyxl전체 코드import pandas as pd# 파일 경로 설정a_file_pa..

이번 글에서는 Python 환경에서 패키지 설치 중 발생한 SSL 인증서 오류를 해결하는 과정을 정리하고자 합니다. sentence-transformers 라이브러리를 설치하는 과정에서 발생한 문제와 해결법을 중심으로 설명하겠습니다.문제 상황처음 pip install 명령어로 sentence-transformers를 설치하려 했을 때 다음과 같은 오류가 발생했습니다.WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError...ERROR: Could not find a version that sat..

파이썬 데코레이터 :: 함수 기능 확장의 강력한 도구 데코레이터란? 파이썬 데코레이터는 함수의 기능을 추가하거나 변경하는 데 사용되는 도구이다. 함수 앞에 @ 기호와 함께 데코레이터 함수를 작성하여 적용한다. 데코레이터 함수는 원래 함수를 입력으로 받고, 감싸거나 수정된 함수를 반환한다. 데코레이터 작동 방식 데코레이터는 다음과 같은 단계로 작동한다. 데코레이터 함수 호출 : 데코레이터 함수가 @ 기호와 함께 함수 앞에 작성되면 호출된다. 원래 함수 전달 : 데코레이터 함수는 원래 함수를 인수로 받는다. 감싸기 또는 수정 : 데코레이터 함수는 원래 함수를 감싸거나 수정하는 로직을 실행한다. 수정된 함수 반환 : 데코레이터 함수는 감싸거나 수정된 함수를 반환한다. 실행 : 반환된 함수는 일반적인 함수와 동..