[Python]데이터 정규화와 결측치 데이터 처리

 

데이터 정규화

• dataFrame 설계에서 중복 최소화→무결성을 강화한 데이터를 구조화하는 process.
• dataFrame의 정규화 목표
  : 이상이 있는 관계를 재구성하여 작고 잘 조직된 관계를 생성.

---

데이터 분석

• 수집된 데이터를 기반으로 패턴을 추출하고 그 결과를 분석하여 활용가치를 판단한다.
• 데이터에 중복이나 누락 등의 결함이 있으면 신뢰성이 떨어지므로 데이터 정규화가 필요하다.

---

데이터 분석 정확도

• 데이터에 대한 신뢰성은 수집된 데이터의 품질에 따라 결정.
• 데이터의 품질을 높이기 위해서는 결측치(누락 데이터) 확인과 중복 데이터의 제거 등 오류를 수행하는 과정을 거쳐야 한다.

---

NaN
Not a Number
누락 데이터

• 데이터 값이 존재하지 않거나 누락된 데이터.
• 0, ?, - 과 같이 표기되기도 하는데 이럴 경우

이런 식으로 replace변환 해준다.

df.info()로 NaN데이터가 몇개인 지 확인 할 수 있다.

---

df.value_count(dropna=False)
→ NaN과 고유값 개수 출력.

---

df.isnull().sum()
→ 각 열의 결측치 개수 출력.

isnull()만 사용했을 경우 null이면 True로 표현된다.

.sum()을 붙여주면 null인 갯수 합계를 보여준다.

---

df['컬럼명'].fillna(치환data, inplace=True)
→ 결측치 데이터를 치환.
fill nan

• 결측치를 무작정 삭제한다면 분석할 데이터가 너무 적어질 수 있다.
• 보통 데이터의 분포와 특성을 잘 나타낼 수 있는 평균값, 최빈값(가장 많이 나온 값), 중간값 등으로 치환한다.
• df['컬럼명'].fillna(치환data, inplace=True)
  → 원본 객체도 같이 변경.
  

df의 연령 컬럼에는 위와 같이 NaN결측치들이 존재하는데 평균값 구해서

fillna()를 이용해 치환해준다.

---

df.loc['행', '열'] = 원소값
→ 결측치를 특정 원소값으로 치환.

---

df.fillna(0).iloc[행, 열]
→ NaN값을 모두 0으로 치환.

반영하려면 df = 이런 식으로 대입시켜서 담으면 된다.

---

 df.fillna(method='ffill').iloc[행, 열]
→ 앞 행의 값으로 치환.

윗 부분에 null이 없는 데이터에서 사용해야 함. 안그럼 위의 0번째 2,3차처럼 null이 발생.

---

df.fillna(method='bfill').iloc[행, 열]
→ 뒤 행의 값으로 치환.

당연히 위와 반대로 아래 값이 비어있음 안된다.

---

df.interpolate().iloc[행, 열]
→ 앞 뒤 양쪽 행의 중간값으로 치환.

위에 값이 없던 곳들은 여전히 null로 뜬다.