import pandas as pd

CCTV_Seoul = pd.read_csv('./data_science/01.CCTV_in_Seoul.csv', encoding='utf-8')

CCTV_Seoul.head()

# 기관명  이름 (columns) 바꾸기
CCTV_Seoul.columns[0]

CCTV_Seoul.rename( columns={ CCTV_Seoul.columns[0] : '구별'}, inplace=True )
CCTV_Seoul.head()

pop_Seoul = pd.read_excel('./data_science/01.population_in_Seoul.xls', encoding='utf-8')
pop_Seoul.head()

# 복잡한 header를 정리하기 
##  header는 2번째 줄부터 
##  사용할 coloumn은  B, D, G, J, N 
##  FutureWarning: the 'parse_cols' keyword is deprecated, use 'usecols' instead
pop_Seoul = pd.read_excel(
                         './data_science/01.population_in_Seoul.xls', 
                         header=2,
                         usecols='B, D, G, J, N',
                         encoding='utf-8'
                         )
pop_Seoul.head()

# Column 이름을 바꾸기 
pop_Seoul.rename(
    columns={
        pop_Seoul.columns[0] : '구별',
        pop_Seoul.columns[1] : '인구수',
        pop_Seoul.columns[2] : '한국인',
        pop_Seoul.columns[3] : '외국인',
        pop_Seoul.columns[4] : '고령자'
    },
    inplace=True
)

pop_Seoul.head()

import numpy as np

pandas.Series([1, 3, 5, numpy.nan, 6.8]) 

0    1.0
1    3.0
2    5.0
3    NaN
4    6.8
dtype:  float64

pandas.date_range('20130101', periods=6)

DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

# CCTV 숫자가 적은 순으로 구별 정리
CCTV_Seoul.sort_values( by='소계', ascending=True).head()

# CCTV 숫자가 많은 순으로 구별 정리
CCTV_Seoul.sort_values( by='소계', ascending=False).head()

CCTV_Seoul['최근증가율'] = \
( CCTV_Seoul['2016년'] + CCTV_Seoul['2015년'] + CCTV_Seoul['2014년'] ) / CCTV_Seoul['2013년도 이전'] * 100

CCTV_Seoul.sort_values(by='최근증가율', ascending=False).head()

pop_Seoul.head()

# '합계' 줄 제거 
pop_Seoul.drop([0], inplace=True )
pop_Seoul.head()

# '구별' 데이터 무결성 확인
pop_Seoul['구별'].unique()

# nan 부분 확인
pop_Seoul[pop_Seoul['구별'].isnull()]

# nan이 들어간 행을 drop으로 삭제하자. 
pop_Seoul.drop([26], inplace=True)
pop_Seoul.tail()

pop_Seoul['외국인비율'] = pop_Seoul['외국인'] / pop_Seoul['인구수'] * 100
pop_Seoul['고령자비율'] = pop_Seoul['고령자'] / pop_Seoul['인구수'] * 100
pop_Seoul.head()

# 인구수가 많은 순으로  정렬
pop_Seoul.sort_values(by='인구수', ascending=False).head()

# 외국인 숫자 순으로 정렬
pop_Seoul.sort_values(by='외국인', ascending=False).head()

# 외국인 비율 순으로 정렬
pop_Seoul.sort_values(by='외국인비율', ascending=False).head()

# 고령자 숫자 순으로 정렬
pop_Seoul.sort_values(by='고령자', ascending=False).head()

# 고령자 비율 순으로 정렬
pop_Seoul.sort_values(by='고령자비율', ascending=False).head()

data_result = pd.merge(CCTV_Seoul, pop_Seoul, on='구별')
data_result.head()

# 2017년 CCTV 개수만 살펴보기로 함 
del data_result['2013년도 이전'] 
del data_result['2014년']
del data_result['2015년']
del data_result['2016년']
data_result.head()

# 그래프 대비 
data_result.set_index('구별', inplace=True)
data_result.head()

np.corrcoef(data_result['고령자비율'], data_result['소계'])

np.corrcoef(data_result['외국인비율'], data_result['소계'])

np.corrcoef(data_result['인구수'], data_result['소계'])

# 그래프의 결과를 Jypyter Notebook의 Out-Section에 나타나게 하기 
import matplotlib.pyplot as plt
%matplotlib inline

# 한글 문제 
import matplotlib.font_manager as fm
# 현재 사용할 수 있는 폰트 목록
fm.get_fontconfig_fonts()

# 폰트 적용
font_location = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'
font_name = fm.FontProperties(fname=font_location).get_name()

from matplotlib import rc
rc('font', family=font_name)

# 구별 CCTV 개수 - 수평 막대 그래프 
data_result['소계'].sort_values().plot(kind='barh', grid=True, figsize=(10, 10))
plt.show()

# 인구대비 CCTV비율 시각화 - 수평 막대 그래프 
data_result['CCTV비율'] = data_result['소계'] / data_result['인구수'] * 100

data_result['CCTV비율'].sort_values().plot(kind='barh', grid=True, figsize=(10, 10))
plt.show()

plt.figure(figsize=(6,6))
plt.scatter(data_result['인구수'], data_result['소계'], s=50)
plt.xlabel('인구수')
plt.ylabel('CCTV')
plt.grid()
plt.show()

# linear regression
## 기울기, y절편 구하기 
fp1 = np.polyfit( data_result['인구수'], data_result['소계'], 1)
# 직선의 식
f1 = np.poly1d(fp1)
# x축의 범위와 간격 설정
fx = np.linspace(100000, 700000, 100)

# 그래프
plt.figure(figsize=(6,6))
plt.scatter(data_result['인구수'], data_result['소계'], s=50)
# 그래프에 추쇄선 삽입
## ls: line-style,  lw: line-width 
plt.plot(fx, f1(fx), ls='dashed', lw=3, color='g')
plt.xlabel('인구수')
plt.ylabel('CCTV')
plt.grid()
plt.show()

# 경향성에서 벗어난 데이터 찾기
## 기울기, y절편 구하기 
fp1 = np.polyfit( data_result['인구수'], data_result['소계'], 1)
## 직선의 식
f1 = np.poly1d(fp1)
## x축의 범위와 간격 설정
fx = np.linspace(100000, 700000, 100)
## 직선과 점 사이의 y축 거리 구하기 
data_result['오차'] = np.abs( data_result['소계'] - f1(data_result['인구수']) ) 
## 오차 순으로 정렬
df_sort = data_result.sort_values(by='오차', ascending=False)
df_sort.head()

# 그래프
plt.figure(figsize=(14, 10))
plt.scatter(data_result['인구수'], data_result['소계'], s=50, c=data_result['오차'])
# 그래프에 추쇄선 삽입
## ls: line-style,  lw: line-width 
plt.plot(fx, f1(fx), ls='dashed', lw=3, color='g')

for n in range(10):
    plt.text( df_sort['인구수'][n]*1.01, df_sort['소계'][n]*0.99, df_sort.index[n], fontsize=10  )

plt.xlabel('인구수')
plt.ylabel('인구당비율')
plt.colorbar()
plt.grid()
plt.show()