(2주차 - 22.08.02) Python 라이브러리 활용 [데이터 분석] 2

[ 오늘 배운 내용 ]

1. 분석할 수 있는 데이터의 종류 & 분석을 위한 데이터의 구조
2. Numpy
 - 넘파이 배열 만들기
 - 넘파이 배열 데이터 조회
 - 넘파이 배열 연산
3. Pandas
 - 데이터프레임
 - 데이터프레임 정보 확인

 - 데이터프레임 조회
 - 데이터프레임 집계
 -  데이터프레임 변경
4. matploilib

 

 

 

 

지난 수업 내용을 간단하게 리뷰하면서 시작했는데 데이터프레임과 시리즈의 차이에 대해 더 자세히 설명을 해 주셨고, 데이터프레임에서 특정 열을 조회하는 방법을 실습해보았다. 특히 칼럼을 지정할 때 ['column']과 [['column']]과 같이 리스트로 한번 더 감싸주냐 마느냐에 따라 조회되는 데이터의 형식이 시리즈와 데이터프레임으로 갈린다는 부분이 신기했다.

 

그리고 학교에서 인공지능 수업 프로젝트를 진행했을 때 조건으로 데이터프레임을 조회하는 loc과 iloc를 사용해봤었는데

둘의 차이를 명확하게 알 지 못했다. 강사님이 되도록이면 loc 사용하라고 하셔서 그냥 loc만 사용할 것 같다. .loc를 사용할 때 .isin(), between()이라는 정말 좋은 기능을 알게 되었다. 이 메서드를 사용한다면 번거롭게 반복문 조건문으로 데이터프레임에서 데이터를 추출할 필요가 없을 것 같다.

그리고 데이터프레임의 여러 집계함수들에 대해서도 배웠는데 groupby()라는 매우 유용한 메서드를 알게 되었다. ~별~의 집계함수 결과를 알고 싶다면 groupby를 사용하도록 하자. groupby 말고도 한번에 여러 방식의 집계 결과를 보게 해주는 agg()도 기억을 하면 좋을 것 같다.

마지막으로 열 이름 변경, 열 삭제, 열 추가, map(), cut() 등 나중에 프로젝트 진행 시 꼭 필요할 내용들만 액기스로 알아갈 수 있었던 것 같다.

 

마지막으로는 가볍게 matplotlib 라이브러리로 간단한 시각화 실습을 해 보았는데 이 내용은 어차피 나중 수업에서 다시 다룰 예정이라고 하셔서 잠깐 남은 시간을 활용해서 맛만 보았다.

 

 

 

 

 

 

 

*사용 데이터 : IBM의 직원 이탈 데이터

-> 강사님의 깃허브 url을 통해 데이터 내려받아 사용했음

 

1. 데이터프레임 조회

• 데이터프레임(Dataframe) : 2차원 구조
• 시리즈(Series) : 1차원 구조 (데이터프레임에서 칼럼(=정보) 하나를 떼어 낸 것)

# 데이터 읽어오기
path = '데이터 링크'
data = pd.read_csv(path)  

# 상위 5개 확인
data.head(5)

실행 결과

 

 

• 특정 열 조회

# Attrition열 조회 - Series로 조회
data['Attrition']

# Attrition, Age열 조회 - Dataframe으로 조회
data[['Attrition', 'Age' ]]

실행결과 (시리즈로 조회)

시리즈로 조회

실행결괴 (데이터프레임으로 조회)

데이터프레임으로 조회

- 시리즈와 데이터프레임 두 가지 형식으로 불러와서 조회할 수 있는데 데이터프레임으로 불러와서 보는 것이 보기는 더 좋은 것 같다.

- 하나의 칼럼만 불러와도 []대괄호로 한 번 더 감싸주면 시리즈가 아닌 데이터프레임으로 불러온다.

- 여러 칼럼을 조회할 때는 칼럼 이름들을 리스트에 담아서 데이터프레임 형식으로 불러온다.

 

 

• 조건으로 조회

df.loc[조건] 형태로 조건을 지정해 조건에 만족하는 데이터만 조회할 수 있다.

# 단일 조건 조회
# DistanceFromHome 열 값이 10 보다 큰 행 조회
data.loc[data['DistanceFromHome'] > 10]

DistanceFromeHome 열 값이 10보다 큰 행 조회

 

 

• 여러 조건으로 조회 - &(and), |(or) 연산자 사용

각 조건은 소괄호()로 묶어줘야 한다.

# and로 여러 조건 연결 (교집합)
data.loc[(data['DistanceFromHome'] > 10) & (data['JobSatisfaction'] == 4)]

# or 조건 : | (합집합)
data.loc[(data['DistanceFromHome'] > 10) | (data['JobSatisfaction'] == 4)]

'DistancaFromHome'이 10보다 크고 'JobSatisfaction'이 4인 데이터 조회 (&연산자 실행 결과)

 

• .isin()과 .between() 메소드 사용

.isin( [ 값1, 값2, ..., 값n ] ) : 값1 또는 값2 또는 ... 값n인 데이터만 조회

.between(값1, 값2) : 값1~값2까지 범위 안의 데이터만 조회

# 값 나열 -> Jobsatisfaction이 1 또는 4인 데이터만
data.loc[data['JobSatisfaction'].isin([1,4])]

# 범위 지정 -> Age가 25~30인 데이터만
data.loc[data['Age'].between(25, 30)]

 

• 조건을 만족하는 행의 일부 열만 조회

df.loc[ 조건,  [ '열 이름1',  '열 이름2', ... ] ] 형태로 조회할 열을 리스트로 지정하면 2차원의 데이터프레임 형태로 조회 가능

# 칼럼 이름을 시리즈(1차원)으로 조회
data.loc[data['MonthlyIncome'] >= 10000, 'Age']

# 칼럼 이름을 데이터프레임(2치원)으로 조회
data.loc[data['MonthlyIncome'] >= 10000, ['Age']]

# 위 코드와 같은 결과 (실행 시간이 조금 더 길긴 한데 크게 차이는 없는듯)
data.loc[data['MonthlyIncome'] >= 10000][['Age']]

# 조건에 맞는 여러 열 조회
data.loc[data['MonthlyIncome'] >= 10000, ['Age', 'MaritalStatus', 'TotalWorkingYears']]

실행 결과

 

 

 

2. 데이터프레임 집계

여러 데이터프레임 집계 관련 메소드

• 합 : sum()
• 평균 : mean()
• 최댓값 : max()
• 최솟값 : min()
• 개수 : count()
• 중간값 : median()

# MonthlyIncome 합계
data['MonthlyIncome'].sum()

# MonthlyIncome, TotalWorkingYears 각각의 평균
data[['MonthlyIncome', 'TotalWorkingYears']].mean()

 

• ~별 ~의 집계 구하기

df.groupby( by='열1', as_index=  )[ '열2' ].집계함수

- '열1' 별 '열2'를 집계함수로 집계해줌

- as_index는 '열1'의 정보를 인덱스로 할 지 결정 (False로 설정 시 행 번호를 기반으로 한 정수 값이 인덱스로 설정)

# MaritalStatus 별 Age의 평균 --> 결과 데이터프레임으로
data.groupby('MaritalStatus', as_index=False)[['Age']].mean()

실행 결과

 

• 여러 열에 대한 집계 수행

data.groupby('MaritalStatus', as_index=False)[['Age','MonthlyIncome']].mean()

 

• 집계 기준 열을 여러개로 설정

# 'MaritalStatus', 'Gender'별 나머지 열들 평균 조회
data.groupby(['MaritalStatus', 'Gender'], as_index=False)[['Age','MonthlyIncome']].mean()

 

• 여러 집계 함수를 한꺼번에 집계

df.groupby().agg( [ '함수1', '함수2', ... ] )

- as_index는 적용되지 않는다. 무조건 집계 기준 열이 인덱스 열이 됨.

- by옵션 사용 (생략해서 사용 가능 - 아래 코드에선 원래 by = 'MartialStatus')

data.groupby('MaritalStatus', as_index=False)[['MonthlyIncome']].agg(['min','max','mean'])

 

• 여러 열에 대해 각 열마다 다른 집계 수행

agg() 안에 리스트[] 말고 {key : value}의 딕셔너리 형태로 지정해준다.

# [ 각 열마다 다른 집계를 한번에 수행하기 ]
# 성별(Gender) 별 ==> 나이(Age) : 평균  /  월급(MonthlyIncome) : 최대값
data.groupby(by='Gender').agg({'Age' : 'mean', 'MonthlyIncome' : 'max'})

 

 

 

 

3. 데이터프레임 변경

• 열 이름 변경

- columns의 속성을 변경해서 모든 열의 이름을 변경 가능

- rename()메소드를 사용하여 지정한 열의 이름 변경 가능 (inplace=True 옵션을 주어야 실제 적용)

# 모든 열 이름 변경 - 모든 칼럼이 순서대로 들어가야 함
data.columns = ['Attr','Age','Dist','EmpNo','Gen','JobSat','Marital','M_Income', 'OT', 'PctSalHike', 'TotWY']

# rename() 함수로 열 이름 변경
data.rename(columns={'DistanceFromHome' : 'Distance', 
                    'EmployeeNumber' : 'EmpNo',
                    'JobSatisfaction' : 'JobSat',
                    'MonthlyIncome' : 'M_Income',
                    'PercentSalaryHike' : 'PctSalHike',
                    'TotalWorkingYears' : 'TotWY'}, inplace=True)

 

 

• 열 추가

- 없는 열을 변경하면 맨 뒤에 그 열이 추가된다.

 

올해 급여(M_Income) 와 급여 인상률(PctSalHike)을 조합하여 계산한 작년 급여(Income_LY) 칼럼을 추가

# Income_LY 열 추가
data['Income_LY'] = data['M_Income'] / (1+data['PctSalHike']/100 )
data['Income_LY'] = round(data['Income_LY'])  #round는 반올림 함수

 

 

• 열 삭제

- drop() 메소드를 사용해 열 삭제가 가능하다.

- axis=0 : 행 삭제

- axis=1 : 열 삭제

- inplace=True 옵션 지정해줘야 실제로 삭제 반영

# Income_LY 열 삭제
data.drop('Income_LY', axis=1, inplace=True)

 

- 삭제할 열을 리스트 형태로 전달해 한 번에 여러 열 제거 가능

# 열 두 개 삭제
data.drop(['EmpNo','OT'], axis=1, inplace=True)

 

 

• 범주형 값을 다른 값으로 변경 - map() 메소드

- map() 메소드를 사용하면 범주형 값을 다른 값으로 쉽게 변경 할 수 있다.

 

Gen 변수의 Male, Female을 각각 숫자 1, 0으로 변경

# Male -> 1, Female -> 0
data['Gen'] = data['Gen'].map({'Male': 1, 'Female': 0})

# 확인
data.head()

 

 

 

• 크기를 기준으로 범위를 나누어 등급을 지정하기 - cut() 메소드

- cut() 메소드를 사용하여 값의 크기로 지정한 개수의 범위로 나누어 줄 수 있다.

# 수치의 최소~최대값을 3등분
pd.cut(data['M_Income'], 3)
# (10,20] : 10초과 20이하

- M_Income 값을 최소~최대값까지 3등분을 하여 나누어 줌

- 기본적으로 나누어진 범위는 ( , ]의 형태이다.  <-->  right=False 옵션을 주면 [ , )의 범위가 된다.

 

# 범위를 3등분해서 등급 구하기
data['M_Income_Group'] = pd.cut(data['M_Income'], 3, labels=['a', 'b', 'c'] )

# 확인
data.head()

M_Income을 3 구간으로 나누어서 각 구간에 'a', 'b', 'c'의 이름을 붙인 열을 새로 만들어준다.

- 나눠진 범위 확인

# 범위 확인
data.groupby('M_Income_Group', as_index = False)['M_Income'].agg(['min', 'max'])

 

• bins 옵션을 사용하여 범위 나누기

아래 범위에 따른 값을 갖는 M_Income_Group2 열을 추가해주고 범위를 확인해보았다.
  - 10000 이하 → 'a'
  - 10000 초과 15000 이하 → 'b'
  - 15000 초과 → 'c'

# 등급 구하기
bin = [0, 10000, 15000, np.inf] # 구간에 해당하는 값들을 넣어줌 a, b, c로 (0, 10000, 15000~)을 3등분
data['M_Income_Group2'] = pd.cut(data['M_Income'], bins=bin, labels=['a', 'b', 'c'])

# 범위 확인
data.groupby('M_Income_Group2', as_index = False)['M_Income'].agg(['min', 'max'])

 

 

 

4.  데이터 시각화 라이브러리 matplotlib

matplotlib.pyplot

- 파이썬에서 그래프를 그릴 때 기본이 되는 라이브러리

- 데이터 분석을 위한 다양한 차트들을 제공한다.

 

• 라이브러리 로딩

import matplotlib.pyplot as plt

 

• 차트 그리기

plt.plot( 'x축 정보', 'y축 정보', data = data )

- 데이터프레임의 칼럼 이름을 주어서 x축과 y축으로 사용할 변수를 지정해줄 수 있다.

- 칼럼 이름을 하나만 줄 경우 y축 정보로 사용된다.

 

• 화면에 보여주기

plt.show()

 

예시코드

# 날짜 축으로 item1에 대해 라인차트를 그려봅시다. - x축 : 'date' / y축 : 'item1'
plt.plot('date', 'item1', data = data)
plt.show()

실행해서 그래프를 그려보면 x축의 값이 너무 길어서 지저분한 것을 볼 수 있다.

 

• x축의 값을 회전시키기

xticks() 메서드를 사용해서 x축의 값을 회전시킬 수 있다.

plt.plot(data['date'], data['item1']) # 위 코드와 동일한 코드임
plt.xticks(rotation=45)
plt.show()

실행해보면 훨씬 보기 좋아진 그래프를 확인할 수 있다.

 

 

 

 

 

 

 

 

 

 

요약 정리

 

[ 판다스 데이터프레임 ]

 

* 조건 조회
df.loc[행조건, 열조건]
행 조건 -> .isin(), .between()
열 조건 -> '열' : 시리즈  /  ['열'] : 데이터프레임

* 데이터프레임 집계 관련 메소드
sum(), mean(), max(), min(), count(), median()

* ~별 ~의 집계함수 결과
df.groupby(by='열1', as_index= )['열2'].집계함수
'열1' 별 열2를 집계함수로 집계한 결과 (as_index : '열1'을 인덱스로 할 지)

* 여러 집계 함수를 한꺼번에 집계
df.groupby().agg( [ '함수1', '함수2', ... ] )

* 열 이름 변경
df.rename( columns={ '바꿀 열' : '바꿀 이름' }, inplace=True )

* 열 추가
없는 열을 변경하면 맨 뒤에 추가된다.

* 열 삭제
df.drop( '삭제할 열', axis= , inplace=True )
axis = 0 행 삭제
axis = 1 열 삭제

* 범주형 값을 다른 값으로 변경
map()

* 크기를 기준으로 범위를 나누어 등급 지정하기
pd.cut( 대상 칼럼, bins=bin, labels=[ 'a', 'b', 'c', 'd' ], right=False )
bin은 범위를 나누는 기준이 될 값들의 리스트

 

 

 

[ matplotlib 라이브러리 ]

 

* 그래프 그리기
plt.plot( 'x축 정보', 'y축 정보', data = data )

* x축 값 회전시키기
plt.xticks(rotation=45)

* 화면에 보여주기
plt.show()