Lecture Note

Part 6. 데이터프레임의 다양한 응용

map(), apply(), applymap() 함수 map() : Series에서만 사용가능 apply() : Series, DataFrame 둘 다 사용 가능 applymap() : DataFrame에서만 사용 가능 apply() 함수도바 빠름 map() 함수

import seaborn as sns
import pandas as pd

def gender(s):
  if s == 'male':
    return "남자"
  else:
    return "여자"

df = sns.load_dataset('titanic')
df = df.loc[:, 'survived':'age']

df['성별1'] = df['sex'].map({'male':'남자', 'female':'여자'})

d = {'male':'남자', 'female':'여자'}
df['성별2'] = df['sex'].map(d)

sr = pd.Series({'male':'남자', 'female':'여자'})
df['성별3'] = df['sex'].map(sr)

df['성별4'] = df['sex'].map(gender)

df['성별5'] = df['sex'].map(lambda x: '남자' if x=='male' else '여자')

df

import seaborn as sns

import pandas as pd

def gender(s):

if s == 'male':

return "남자"

else:

return "여자"

df = sns.load_dataset('titanic')

df = df.loc[:, 'survived':'age']

df['성별1'] = df['sex'].map({'male':'남자', 'female':'여자'})

d = {'male':'남자', 'female':'여자'}

df['성별2'] = df['sex'].map(d)

sr = pd.Series({'male':'남자', 'female':'여자'})

df['성별3'] = df['sex'].map(sr)

df['성별4'] = df['sex'].map(gender)

df['성별5'] = df['sex'].map(lambda x: '남자' if x=='male' else '여자')

apply() 함수

import seaborn as sns
import pandas as pd
import numpy as np

df = sns.load_dataset('titanic')
df = df.loc[:, ['survived', 'pclass', 'age', 'fare']]

def add_10(n):
    return n + 10

def add_two_obj(a, b): 
    return a * b

add_10(10)
df.apply(add_10)
df['age'].apply(add_10)

add_two_obj(10, 20)
df.apply(add_two_obj, b=10)
df['age'].apply(add_two_obj, b=10)

df.apply(lambda x: add_10(x))  # axis=0 or 1 의미 없음
df['age'].apply(lambda x: add_10(x))
df.apply(lambda x: add_two_obj(x['age'], x['fare']), axis=1)

df.apply(np.sqrt)
df.apply(np.sum, axis=0)
df.apply(np.sum, axis=1)

import seaborn as sns

import pandas as pd

import numpy as np

df = sns.load_dataset('titanic')

df = df.loc[:, ['survived', 'pclass', 'age', 'fare']]

def add_10(n):

return n + 10

def add_two_obj(a, b):

return a * b

add_10(10)

df.apply(add_10)

df['age'].apply(add_10)

add_two_obj(10, 20)

df.apply(add_two_obj, b=10)

df['age'].apply(add_two_obj, b=10)

df.apply(lambda x: add_10(x)) # axis=0 or 1 의미 없음

df['age'].apply(lambda x: add_10(x))

df.apply(lambda x: add_two_obj(x['age'], x['fare']), axis=1)

df.apply(np.sqrt)

df.apply(np.sum, axis=0)

df.apply(np.sum, axis=1)

Series.str string 관련 함수를 모두 사용할 수 있음 Series.str.get() 함수

import pandas as pd
sr = pd.Series(["String",
              (1, 2, 3),
              ["a", "b", "c"],
              123,
              -456,
              {0: "Hello", 2: "World"}])
sr

[출력]
0                      String
1                   (1, 2, 3)
2                   [a, b, c]
3                         123
4                        -456
5    {0: 'Hello', 2: 'World'}

import pandas as pd

sr = pd.Series(["String",

(1, 2, 3),

["a", "b", "c"],

123,

-456,

{0: "Hello", 2: "World"}])

[출력]

0 String

1 (1, 2, 3)

2 [a, b, c]

3 123

4 -456

5 {0: 'Hello', 2: 'World'}

sr.str.get(2)

[출력]
0        r
1        3
2        c
3      NaN
4      NaN
5    World

sr.str.get(2)

[출력]

0 r

1 3

2 c

3 NaN

4 NaN

5 World

누락 데이터 확인 df.info() df.value_counts(dropna=False) df.isnull() df.notnull() df.isnull().sum(axis=0) df[‘deck’].value_counts(dropna=False) df[‘deck’].isnull() df[‘deck’].notnull() df[‘deck’].isnull().sum() 누락 데이터 제거 df.dropna() df.dropna(axis=0) df.dropna(axis=1) df.dropna(axis=1, thresh=750) df.dropna(how=’any’) df.dropna(how=’any’, axis=1) df.dropna(how=’all’) df[‘age’].dropna() df.dropna(subset=’age’) df[[‘age’,’deck’]].dropna() df[[‘age’,’deck’]].dropna(how=’all’) df.dropna(subset=[‘age’,’deck’]) df.dropna(subset=[‘age’,’deck’], how=’all’) df.dropna(subset=[‘age’,’deck’], how=’all’, ignore_index=True) df.dropna(subset=[‘age’,’deck’], how=’all’, inplace=True) 누락 데이터 치환 df.fillna(100, inplace=True) df[‘age’].fillna(100, inplace=True) m = df[‘age’].mean(axis=0) df[‘age’].fillna(m, inplace=True) m… Continue Reading Part 5. 데이터 사전 처리

Part 4. 시각화 도구

Matplotlib 그래프 그리기 기초 titanic 데이터 불러오기

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

df = sns.load_dataset('titanic')

df10 = df.iloc[:10]

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sns

df = sns.load_dataset('titanic')

df10 = df.iloc[:10]

그래프 1

plt.figure(figsize=(4,3))
plt.plot(df10['fare'])
plt.show()

plt.figure(figsize=(4,3))

plt.plot(df10['fare'])

plt.show()

그래프 2

plt.figure(figsize=(4,3))
plt.plot(df10['fare'])
plt.plot(df10['age'])
plt.show()

plt.figure(figsize=(4,3))

plt.plot(df10['fare'])

plt.plot(df10['age'])

plt.show()

그래프 3

plt.figure(figsize=(8,3))
plt.subplot(1,2,1)
plt.plot(df10['fare'])
plt.subplot(1,2,2)
plt.plot(df10['age'])
plt.show()

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)

plt.plot(df10['fare'])

plt.subplot(1,2,2)

plt.plot(df10['age'])

plt.show()

그래프 4

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)
plt.plot(df10['fare'])
plt.title('titanic fare')
plt.xlabel('index')
plt.ylabel('fare')
plt.ylim(0, 100)
plt.legend(labels=['fare'], loc='best')

plt.subplot(1,2,2)
plt.plot(df10['age'])
plt.title('titanic age')
plt.xlabel('index')
plt.ylabel('age')
plt.ylim(0, 100)
plt.legend(labels=['age'], loc='best')

plt.show()

plt.figure(figsize=(8,3))

plt.subplot(1,2,1)

plt.plot(df10['fare'])

plt.title('titanic fare')

plt.xlabel('index')

plt.ylabel('fare')

plt.ylim(0, 100)

plt.legend(labels=['fare'], loc='best')

plt.subplot(1,2,2)

plt.plot(df10['age'])

plt.title('titanic age')

plt.xlabel('index')

plt.ylabel('age')

plt.ylim(0, 100)

plt.legend(labels=['age'], loc='best')

plt.show()

그래프 5

plt.figure(figsize=(3,2))
plt.plot([1,3,2,4])
plt.show()

plt.figure(figsize=(3,2))

plt.plot([1,3,2,4])

plt.show()

그래프 6

import matplotlib.pyplot as plt

x = [1,2,3,4]
y = [2,4,6,8]
plt.figure(figsize=(3,2))
plt.plot(x, y)
plt.show()

import matplotlib.pyplot as plt

x = [1,2,3,4]

y = [2,4,6,8]

plt.figure(figsize=(3,2))

plt.plot(x, y)

plt.show()

그래프 7

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(-10,10,100)
y = x * 2
y2 = 2 * x * x
y3 = np.sin(x) * 100

plt.figure(figsize=(3,2))
plt.plot(x, y)
plt.plot(x, y2)
plt.plot(x, y3)
plt.show()

import matplotlib.pyplot as plt

import numpy as np

x = np.linspace(-10,10,100)

y = x * 2

y2 = 2 * x * x

y3 = np.sin(x) * 100

plt.figure(figsize=(3,2))

plt.plot(x, y)

plt.plot(x, y2)

plt.plot(x, y3)

plt.show()

그래프 8

import matplotlib.pyplot as plt

plt.figure(figsize=(3,2), facecolor='g', edgecolor='r')
plt.plot([1,2,3,4], [1,4,9,16], 'gx-')
plt.show()

import matplotlib.pyplot as plt

plt.figure(figsize=(3,2), facecolor='g', edgecolor='r')

plt.plot([1,2,3,4], [1,4,9,16], 'gx-')

plt.show()

그래프 9

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

xpos = np.arange(len(kor))
plt.figure(figsize=(3,2))
plt.bar(xpos, kor, width=0.3)
plt.bar(xpos+0.32, eng, width=0.3)
plt.xticks(xpos, name)
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

xpos = np.arange(len(kor))

plt.figure(figsize=(3,2))

plt.bar(xpos, kor, width=0.3)

plt.bar(xpos+0.32, eng, width=0.3)

plt.xticks(xpos, name)

plt.show()

그래프 10

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

ypos = np.arange(len(kor))
plt.figure(figsize=(3,2))
plt.barh(ypos, kor, height=0.3)
plt.barh(ypos+0.32, eng, height=0.3)
plt.yticks(xpos, name)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

ypos = np.arange(len(kor))

plt.figure(figsize=(3,2))

plt.barh(ypos, kor, height=0.3)

plt.barh(ypos+0.32, eng, height=0.3)

plt.yticks(xpos, name)

plt.title('Sungjuk')

plt.show()

그래프 11

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

plt.figure(figsize=(3,2))
plt.pie(kor, labels=name)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

plt.figure(figsize=(3,2))

plt.pie(kor, labels=name)

plt.title('Sungjuk')

plt.show()

그래프 12

import matplotlib.pyplot as plt
import numpy as np
import math

#X = range(100)
#Y = [math.sin(v) for v in X]
#X = np.arange(100)
#Y = np.sin(X)
X = np.linspace(0,100,101)
Y = np.sin(X)

plt.figure(figsize=(3,2))
plt.plot(X, Y)
plt.show()

import matplotlib.pyplot as plt

import numpy as np

import math

#X = range(100)

#Y = [math.sin(v) for v in X]

#X = np.arange(100)

#Y = np.sin(X)

X = np.linspace(0,100,101)

Y = np.sin(X)

plt.figure(figsize=(3,2))

plt.plot(X, Y)

plt.show()

그래프 13

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']
kor = [100, 50, 100, 90]
eng = [90, 86, 94, 79]

plt.figure(figsize=(2,2))
plt.scatter(kor, eng)
plt.title('Sungjuk')
plt.show()

import matplotlib.pyplot as plt

name = ['James', 'Jane', 'Tom', 'Adam']

kor = [100, 50, 100, 90]

eng = [90, 86, 94, 79]

plt.figure(figsize=(2,2))

plt.scatter(kor, eng)

plt.title('Sungjuk')

plt.show()

그래프 14

import seaborn as sns
import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

plt.figure(figsize=(3,3))
plt.scatter(df['age'], df['fare'], marker='o', s=15, alpha=0.1)
plt.show()

import seaborn as sns

import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

plt.figure(figsize=(3,3))

plt.scatter(df['age'], df['fare'], marker='o', s=15, alpha=0.1)

plt.show()

… Continue Reading Part 4. 시각화 도구

Part 3. 데이터 살펴보기

데이터 일부 보기 df.head(n) : 앞부분 미리 보기 df.tail(n) : 뒷부분 미리 보기 데이터 요약 정보 확인 df.shape df.dtypes / df[열이름].dtypes df.info() df.describe() 데이터 개수 확인 df.count() : 각 열의 데이터 개수를 Series 형으로 반환 df[‘열이름’].value_counts() : 열의 고유값의 개수 통계함수 df.mean() / df[‘열이름’].mean() : 평균 df.median() / df[‘열이름’].median() :… Continue Reading Part 3. 데이터 살펴보기

Part 2. 데이터 입출력

외부 파일 읽어오기 CSV : read_csv(), to_csv() JSON : read_json(), to_json() HTML : read_html(), to_html() Local Clipboard : read_clipboard(), to_clipboard() MS Excel : read_excel(), to_excel() HDF5 Format : read_hdf(), to_hdf() SQL : read_sql(), to_sql() pd.read_csv() 매개변수들 path : 파일 위치 sep or delimiter : 구분 문자 header : 열이름(기본 0),… Continue Reading Part 2. 데이터 입출력

Part 1. 판다스 입문

판다스 자료구조 Series Series의 구조 Series 만들기 : pd.Series() 인덱스 구조 : sr.index, sr.values 원소 선택 : sr[‘c’], sr[1] DataFrame DataFrame의 구조 DataFrame 만들기 : pd.DataFrame() 행이름, 열이름 지정 : pd.DataFrame(2차원배열, index=??, columns=??) 행 인덱스 변경 : df.index = [] 열 이름 변경 : df.columns = [] 행 인덱스 일부… Continue Reading Part 1. 판다스 입문

공개코드

공개코드 성적계산용 샘플1, 샘플2, 샘플3, harim_english, harim_eng_nan

Chapter 13. 오디오 비디오 제어 및 위치 정보 서비스

교재 예제 ex13-01.html ex13-02.html ex13-03.html ex13-04.html ex13-05-for-homepage.html ex13-05.html ex13-06-for-homepage.html ex13-06.html ex13-07-for-homepage.html ex13-07.html ex13-08.html ex13-09.html ex13-10.html fig13-04.html

Chapter 12. HTTP와 쿠기, 웹 스토리지

교재 예제 ex12-01.html sessionStorage.html storageEvent.html

Chapter 11. HTML5 캔버스 그래픽

교재 예제 ex11-01.html ex11-02.html ex11-03.html ex11-04.html ex11-05.html ex11-06.html ex11-07.html ex11-08.html ex11-09.html ex11-10.html ex11-11-expanded.html ex11-11.html fig11-02.html fig11-03.html fig11-06.html fig11-07.html fig11-canvassize.html fill.html text.html