파이썬 데이터프레임 필터링 활용 예제

파이썬은 데이터 과학과 머신러닝 분야에서 강력한 도구로 자리잡고 있으며, 데이터프레임의 필터링은 이 작업을 수행하는 데 있어 필수적인 기술 중 하나입니다. 데이터프레임은 데이터의 표 형식으로, 다양한 기능을 통해 데이터를 효과적으로 분석하고 조작할 수 있습니다. 이 글에서는 파이썬의 데이터프레임 필터링을 활용하는 방법에 대해 알아보겠습니다.

데이터프레임 정의 및 생성

데이터프레임은 pandas 라이브러리를 통해 생성할 수 있으며, 기본적으로 2차원 형태의 데이터 구조로 이루어져 있습니다. 데이터프레임을 생성하기 위해서는 먼저 pandas를 임포트해야 합니다.

다음은 기본적인 데이터프레임 생성 예제입니다:

import pandas as pd
data = {
  '이름': ['홍길동', '김철수', '이영희'],
  '나이': [25, 30, 22],
  '성별': ['남', '남', '여']
}
df = pd.DataFrame(data)
print(df)

위 코드를 실행하면 다음과 같은 데이터프레임이 생성됩니다:

  이름 나이 성별
0 홍길동 25 남
1 김철수 30 남
2 이영희 22 여

데이터프레임 필터링의 필요성

데이터 필터링은 주어진 조건을 만족하는 데이터만을 추출하는 과정입니다. 다양한 조건을 사용하여 원하는 데이터를 효율적으로 선택할 수 있어 분석의 정확성을 높이고, 데이터 처리 시간을 단축할 수 있습니다. 필터링은 데이터 분석에서 매우 중요한 단계이며, 올바른 결정을 내리는 데 필수적입니다.

조건에 따른 필터링 방법

데이터프레임에서 특정 조건을 기준으로 데이터를 선택하기 위해 boolean indexing을 사용할 수 있습니다. 예를 들어, 나이가 25세 이상의 데이터만 추출하고 싶다면 다음과 같이 코드를 작성할 수 있습니다:

filtered_df = df[df['나이'] >= 25]
print(filtered_df)

이 코드를 실행하면 나이가 25세 이상인 데이터만 출력됩니다:

  이름 나이 성별
0 홍길동 25 남
1 김철수 30 남

여러 조건을 결합한 필터링

여러 조건을 결합하여 필터링할 수도 있습니다. 예를 들어, 나이가 25세 이상이고 성별이 ‘남’인 데이터만 추출하려면 다음과 같이 작성할 수 있습니다:

filtered_df = df[(df['나이'] >= 25) & (df['성별'] == '남')]
print(filtered_df)

위의 조건을 만족하는 데이터가 출력됩니다:

  이름 나이 성별
0 홍길동 25 남
1 김철수 30 남

문자열 필터링

문자열 데이터를 다룰 때는 문자열 메소드를 활용하여 특정 패턴이나 조건을 기준으로 필터링할 수 있습니다. 예를 들어, 이름이 ‘영’으로 시작하는 사람을 찾고 싶다면:

filtered_df = df[df['이름'].str.startswith('영')]
print(filtered_df)

이 경우에는 다음과 같은 결과가 나올 것입니다:

  이름 나이 성별
2 이영희 22 여

결측치 처리와 필터링

데이터프레임에는 종종 결측치가 발생하기도 합니다. 결측치를 포함한 데이터는 필터링 시 처리해야 하며, 이를 위해 isnull()과 notnull() 메소드를 사용할 수 있습니다. 예를 들어, 결측치가 없는 데이터만 선택하고 싶다면 다음과 같이 할 수 있습니다:

df_with_nan = df.copy()
df_with_nan.loc[1, '나이'] = None # 결측치 추가
filtered_df = df_with_nan[df_with_nan['나이'].notnull()]
print(filtered_df)

결측치가 포함되지 않은 데이터만 출력됩니다.

정렬과 필터링의 결합

필터링 후에는 데이터를 정렬하여 가독성을 높일 수 있습니다. 예를 들어, 나이가 25세 이상인 데이터를 나이 기준으로 정렬하고 싶다면:

filtered_sorted_df = filtered_df.sort_values(by='나이')
print(filtered_sorted_df)

이렇게 하면 나이가 많은 순서대로 정렬된 결과를 확인할 수 있습니다.

리스트 컴프리헨션을 이용한 필터링

리스트 컴프리헨션을 사용하여 데이터프레임을 필터링하는 방법도 있습니다. 위의 예시와 비슷한 방법으로 리스트를 생성할 수 있으며, 다음과 같은 방식으로 구현할 수 있습니다:

filtered_list = [row for index, row in df.iterrows() if row['나이'] >= 25]
print(filtered_list)

이 방식은 데이터프레임을 리스트로 변환하여 조건에 맞는 데이터만 추출하는 방법입니다.

정리하며

이처럼 파이썬의 pandas 라이브러리를 사용하여 데이터프레임을 필터링하는 방법은 매우 다양합니다. 각기 다른 조건을 활용하여 필요한 데이터를 추출하는 작업은 데이터 분석에서 필수적인 요소로 작용합니다. 필터링 기술을 잘 활용하면 데이터를 효율적으로 분석하고, 업무의 생산성을 높이는 데 기여할 수 있습니다. 이번 글에서 소개한 내용이 데이터프레임 필터링을 이해하는 데 도움이 되기를 바랍니다.

앞으로도 다양한 파이썬 활용법을 통해 데이터 분석 및 프로그래밍 능력을 키워나가시길 응원합니다.

질문 FAQ