[Python]pandas

 

pandas Cheat Sheet :
요약본

구글에 pandas cheat sheet라고 치면 나온다.

---

pandas
특징

•  
• 빠르고 효율적이며 다양한 표현력을 갖춘 자료 구조.
  
  • 실세계 데이터 분석을 위해 만들어진 파이썬 패키지.
• 다양한 형태의 데이터에 적합.
  
  • 이종 자료형의 열을 가진 테이블 데이터.
  • 시계열 데이터.(날씨와 주가처럼 시간에 따라 변하는 데이터)
  • 레이블(제목)을 가진 다양한 행렬 데이터.
  • 다양한 관측 통계 데이터.
• 핵심 구죠.
  
  • series : 1차원 구조를 가진 하나의 열.
  • DataFrame : 복수의 열을 가진 2차원 데이터.(엑셀 시트 하나와 같다.)
• pandas가 잘하는 일.
  
  • 결측 데이터 처리.(중간중간 데이터가 빠진 경우를 잘 처리한다)
  • 데이터 추가/삭제.
  • 데이터 정렬과 다양한 데이터 조작.

※ pandas는 'panel data'라는계량경제학분야 용어에서 유래되었다.
※ import pandas as pd 와 같이 줄여서 쓸 경우 pd를 주로 쓴다.

---

pandas로 할 수 있는 일

• python의 List, Dictionary, NumPy 등의 배열을 데이터 프레임(엑셀)로 변환할 수 있다.
• CSV나 엑셀 파일 등을 열 수 있다.
• URL을 이용해 웹 사이트의 CSV 또는 Json과 같은 원격 파일 또는 데이터베이스를 열 수 있다.

---

• 데이터 보기 및 검사
  
  • mean() : 모든 열의 평균 계산.
  • corr() : 데이터 프레임 열 사이의 상관 관계 계산.
  • count() : 각 열에서 null이 아닌 값의 개수를 계산.
• 필터, 정렬 및 그룹화
  
  • sort_values() : 데이터 정렬.
  • 조건을 이용하여 필터링 가능.
  • groupby() : 기준에 따라 그룹으로 분할 가능.
• 데이터 정제
  
  • 누락 데이터를 확인 할 수 있다.
  • 특정 값을 다른 값으로 대체가능하다.

---

pandas
데이터 구조

• 데이터 저장을 위하여 Series와 Data Frame 두가지의 구조가 있다.
• 두가지 모두 NumPy 배열을 이요하므로 속도가 빠르다.
• 값 변경이 가능하고, Data Frame은 크기도 변경 가능.
• 행과 열은 이름이 부여되며 행의 이름은 index. 열의 이름은 columns라 부른다.
• 당연하게도 DataFrame이 더 많이 사용된다.

데이터 구조	차원	설명
Series	1	레이블label이 붙어 있는 1차원 벡터.
Data Frame	2	행과 열로 된 2차원 테이블, 각 열은 series로 되어있다. → series의 모음이 data frame으로 볼 수 있다. ※ 줄여서 df로 많이 쓴다.

---

 

numpy.nan
: 결측치

• numpy의 nan은 NaN(Not a Number)과 동일한 표기이다.
• 수치 데이터가 없을 경우 이를 표기하는 방법이다.
• nan이 있을 경우 실수.

---

CSV 파일 :
Comma
Seperated
Value
→쉼표로 구분된 데이터.

read_csv() :
csv파일 읽어오기

위 csv파일의 시작이 ,콤파로 시작하는 이유

 

ex02파일 작업중 data폴더에 있는 걸 가져다 쓸 경우

 

pandas의 read_csv()함수를 사용해 가져올 수 있다.

자동완성 기능인 Tab이 안 먹힐 경우 아래 코드를 사용.
%config Completer.use_jedi = False

 

df를 run해보면 이렇게 뜸.

• ,로 시작해서 컬럼명을 지정하지 않았을 경우 Unnamed: 로 만들어진다.
• 자동으로 index가 생성된다. 0, 1, 2, 3..

---

Shift + Tab :
함수 사용 옵션 보기

함수()안에서 ,를 찍고 Shift + Tab을 누르면 사용할 수 있는 옵션을 볼 수 있다.

오른쪽 상단의 +를 누르면 이렇게 상세설정이 보인다.

---

, index_col :
지정 열을 index로 사용

 

위의 데이터를 보면 국가코드(ex.KR)로도 유일성이 있기 때문에 index로 사용할 수 있다.

이 열을 index로 지정해보자.

함수 옵션으로 index_col=0 첫번째 열을 index로 지정했다.

 

---

df['컬럼명'] :
특정 열만 선택하기

 

두개 이상의 열을 지정해서 불러오고 싶을 경우에는
아래처럼 List[ ]를 사용해야 한다.