[ADsP] 탐색적 데이터 분석(EDA)

데이터 분석을 시작할 때 가장 먼저 해야 하는 과정 중 하나는 바로 탐색적 데이터 분석(Exploratory Data Analysis, EDA) 입니다. EDA는 말 그대로 데이터를 본격적으로 분석하거나 모델링하기 전에, 데이터의 특성과 구조를 미리 살펴보는 작업입니다. 어떤 데이터가 주어졌을 때 무작정 분석을 시작하는 것이 아니라, 데이터를 "탐험"하듯이 먼저 이해하고 파악하는 것이 중요합니다.

EDA를 수행하는 목적은 다음과 같습니다:

1. 데이터의 분포 파악
   평균, 중앙값, 표준편차, 최소값과 최대값 등 기본 통계량을 확인하여 데이터가 어떤 형태를 띄는지 이해합니다.
2. 결측치 및 이상치 확인
   누락된 값이나 지나치게 튀는 값이 있는지 살펴보고, 그에 따라 처리 방안을 고민합니다.
3. 변수 간의 관계 탐색
   변수 간 상관관계를 분석하거나 그룹별 차이를 비교해 보며 유의미한 패턴이 존재하는지 확인합니다.
4. 시각화 도구 활용
   히스토그램, 박스플롯, 산점도, 막대그래프 등 다양한 시각화 기법을 사용해 데이터를 직관적으로 파악합니다.
5. 분석 방향성 설정
   어떤 변수를 사용할지, 어떤 전처리가 필요한지, 나아가 어떤 분석 방법이 적합할지를 결정하는 데 중요한 기초 자료가 됩니다.

요약하자면, EDA는 데이터를 들여다보고, 특성을 파악하고, 문제점을 찾고, 분석 방향을 정하는 과정입니다.

탐색적 데이터 분석은 단순히 시각화나 요약 통계를 보는 것에 그치지 않고, 데이터를 깊이 이해하여 분석의 기초를 튼튼하게 만드는 작업입니다. 분석이 잘못된 방향으로 흘러가지 않도록 해주는 중요한 출발점이라고 할 수 있습니다.