회사 내부 시스템에서 데이터를 빠르게 조회하기 위한 목적으로 Spring Boot + MyBatis + PostgreSQL 기반 백엔드 앱에 간단한 쿼리 조회용 API를 추가하고자 했습니다.하지만 단순히 API를 만드는 것만으로 끝나지 않고, 실무에서는 몇 가지 중요한 점들을 반드시 고려해야 한다는 사실을 알게 되었습니다. 이 글에서는 조회용 API를 만들기 전 꼭 고민해야 할 사항들을 정리해봅니다.1. 보안 이슈가장 주의해야 할 부분입니다.조회 전용이라고 해도 다음과 같은 보안 취약점에 노출될 수 있습니다.SQL 인젝션 위험: 입력받은 쿼리를 그대로 실행하면 악의적인 요청이 DB를 손상시킬 수 있습니다.인증/인가 없이 데이터 노출: 내부용이라도 인증 없이 공개되면 사용자 정보, 로그 등 민감한 데이터가..

데이터는 일반적으로 정형, 반정형, 비정형 데이터로 나눌 수 있습니다. 그 중 반정형 데이터(Semi-structured Data)는 일정한 구조를 가지면서도, 엄격한 스키마를 따르지 않는 형태의 데이터를 말합니다.정형 데이터는 관계형 데이터베이스처럼 행과 열이 고정되어 있는 구조를 말하고, 비정형 데이터는 텍스트, 이미지, 영상처럼 구조화되지 않은 데이터를 의미합니다. 반정형 데이터는 이 둘의 중간 성격을 가지며, 일정한 규칙에 따라 구조화되지만 유연한 형식을 가집니다.HTML은 왜 반정형 데이터인가?HTML은 웹페이지를 구성할 때 사용하는 마크업 언어로, 태그(tag)를 이용해 콘텐츠의 구조를 정의합니다. 이는 어느 정도 형식이 있는 데이터처럼 보이지만, 웹사이트마다 HTML 구조가 다르고, 태그의 ..

이상치 탐지 기법 중 하나, Extreme Studentized Deviation(ESD)통계학을 공부하다 보면 이상치(Outlier)를 어떻게 정의하고 탐지할 수 있는지에 대한 여러 가지 방법을 접하게 됩니다. 그 중 하나로 만난 개념이 바로 Extreme Studentized Deviation (ESD) 입니다. 이 개념은 특히 정규분포를 가정한 데이터에서 이상치를 정량적으로 판단할 때 유용하게 쓰입니다.ESD란 무엇인가요?Extreme Studentized Deviation을 우리말로 풀이하자면, ‘극단적인 표준화 편차’ 정도로 이해할 수 있습니다. 여기서 핵심은 평균에서 얼마나 벗어나 있는지를 표준편차로 나눈 값(studentized deviation) 을 기준으로 하여, 그 중에서도 가장 극단적..

데이터 분석을 시작할 때 가장 먼저 해야 하는 과정 중 하나는 바로 탐색적 데이터 분석(Exploratory Data Analysis, EDA) 입니다. EDA는 말 그대로 데이터를 본격적으로 분석하거나 모델링하기 전에, 데이터의 특성과 구조를 미리 살펴보는 작업입니다. 어떤 데이터가 주어졌을 때 무작정 분석을 시작하는 것이 아니라, 데이터를 "탐험"하듯이 먼저 이해하고 파악하는 것이 중요합니다.EDA를 수행하는 목적은 다음과 같습니다:데이터의 분포 파악평균, 중앙값, 표준편차, 최소값과 최대값 등 기본 통계량을 확인하여 데이터가 어떤 형태를 띄는지 이해합니다.결측치 및 이상치 확인누락된 값이나 지나치게 튀는 값이 있는지 살펴보고, 그에 따라 처리 방안을 고민합니다.변수 간의 관계 탐색변수 간 상관관계를..

확률을 공부하다 보면 자주 등장하는 개념 중 하나가 바로 독립사건과 배반사건입니다. 두 용어는 비슷하게 들릴 수 있지만, 실제 의미는 완전히 다릅니다. 이 글에서는 두 개념을 비교하면서 그 차이를 정리해보겠습니다.1. 독립사건(Independent Events)두 사건 A, B가 서로에게 영향을 주지 않는 경우를 말합니다. 다시 말해, 사건 A의 발생 여부가 사건 B의 발생 확률에 아무런 영향을 주지 않는다면 두 사건은 독립입니다.수학적 표현:P(A ∩ B) = P(A) × P(B)예시:동전을 두 번 던질 때 첫 번째가 앞면이 나오는 것과 두 번째가 앞면이 나오는 것은 서로 독립입니다.주사위를 두 번 던질 때 각 던짐의 결과는 서로 독립입니다.2. 배반사건(Mutually Exclusive Events)..