[Python] Pandas DataFrame에서 값이 저장되지 않는 이유와 해결 방법

Pandas를 사용하다 보면 DataFrame의 특정 값을 분명히 수정했음에도 불구하고, 실제로 반영되지 않거나 경고 메시지가 출력되는 경우가 있습니다. 본 글에서는 이런 문제가 왜 발생하는지, 어떻게 해결할 수 있는지에 대해 구체적으로 설명드리겠습니다.

문제 상황: 분명히 값을 수정했는데 반영되지 않음

다음과 같이 조건에 맞는 행을 추출한 후 값을 변경했지만, 원본에는 적용되지 않는 경우가 종종 있습니다.

df = original_df[original_df['score'] > 60]
df['grade'] = 'Pass'

위 코드는 실행 시 SettingWithCopyWarning이라는 경고를 출력하며, 때때로 실제 데이터는 수정되지 않은 채 남아 있게 됩니다. 이 경고는 많은 사용자들이 처음 Pandas를 사용할 때 자주 마주치는 문제입니다.

원인: 복사본에 대한 수정, 그리고 SettingWithCopyWarning

문제의 본질은 Pandas가 조건 필터링을 통해 반환한 객체가 원본의 얕은 복사인지 새로운 객체인지 불명확하다는 데에 있습니다. 이로 인해 Pandas는 우리가 수정하려는 대상이 원본인지 복사본인지 알 수 없게 되고, 이런 애매한 상황에서 SettingWithCopyWarning 경고를 발생시킵니다.

실제로 위 코드에서 df는 original_df의 일부를 복사한 객체일 수 있으며, 이 복사본에 값을 할당한다고 해도 original_df에는 아무런 영향을 주지 않습니다.

해결 방법 1: copy()로 명시적 복사

가장 명확한 해결 방법은 .copy()를 사용하여 명시적으로 복사본을 만드는 것입니다.

df = original_df[original_df['score'] > 60].copy()
df['grade'] = 'Pass'

이 방법은 Pandas에게 "이건 원본과는 완전히 독립된 객체야"라고 알려주는 방식으로, 경고 없이 안정적으로 값을 수정할 수 있습니다.

해결 방법 2: loc[]를 사용한 직접 수정

원본 DataFrame에 직접 수정을 적용하고자 할 때는 .loc[]를 사용하는 것이 가장 안전합니다.

original_df.loc[original_df['score'] > 60, 'grade'] = 'Pass'

.loc[]는 조건과 열을 명시적으로 지정하여 원본 데이터에 직접 접근하기 때문에, 복사본/원본 여부와 상관없이 정확하게 값을 수정할 수 있습니다.

추가 주의사항: 반환값 저장 필수

Pandas의 많은 메서드들은 원본을 변경하지 않고 새로운 객체를 반환합니다. 예를 들어 drop(), rename(), sort_values() 등은 기본적으로 원본을 변경하지 않기 때문에, 반드시 반환값을 변수에 다시 저장해줘야 합니다.

df = df.drop(columns=['unused_column'])  # 반환값 저장 필수

물론 inplace=True를 설정하면 원본을 수정하긴 하지만, 이는 일부 경우 비예측적인 동작을 유발할 수 있어 최근에는 명시적 저장 방식이 더 권장되고 있습니다.

요약 정리

상황	원인	해결 방법
조건으로 필터링 후 값 변경	얕은 복사본에 대한 수정	.copy()로 명시적 복사 후 수정
원본 데이터 수정하고자 할 때	복사/원본 혼동	.loc[]로 조건 및 컬럼 지정하여 수정
drop 등 메서드 사용 후 원본이 그대로일 때	반환값 저장 안 함	반환값을 변수에 다시 할당

마치며

Pandas는 매우 강력하고 직관적인 도구지만, 내부 동작 방식에 대한 이해가 없으면 예기치 않은 결과를 마주하기 쉽습니다. 특히 SettingWithCopyWarning은 무시하지 말고 반드시 원인을 파악해 올바른 방식으로 데이터를 다루는 습관을 들이는 것이 중요합니다.