from selenium import  webdriver
import time

# 크롬 창 열기
driver = webdriver.Chrome('../crawler/driver/chromedriver')

# 중앙선거관리위원회 선거통계시스템 열기
driver.get('http://info.nec.go.kr/')

# 크롬 개발자 도구 > Source
driver.switch_to_default_content()
driver.switch_to_frame('main')

# 투/개표 텝 열기  -  JavaScript
## xpath   //*[@id="topmenu"]/ul/li[4]/a
driver.find_element_by_xpath("""//*[@id="topmenu"]/ul/li[4]/a""").click()

# 투/개표 텝 >> 역대선거 탭
driver.find_element_by_xpath("""//*[@id="header"]/div[1]/ul[1]/li[2]/a""").click()

# 투/개표 >> 역대선거  >>  투개표 : hover 상태
element01 = driver.find_element_by_xpath('''//*[@id="presubmu"]/li[3]/a''')

# 투/개표 >> 역대선거  >>  투개표 : hover 상태 >  개표현황 : 클릭
element02 = driver.find_element_by_xpath('''//*[@id="preallmenu"]/div/div/ul/li[3]/dl/dd[4]/a''')
webdriver.common.action_chains.ActionChains(driver).move_to_element(element01).move_to_element(element02).click().perform()

# 투/개표 >> 역대선거  >>  투개표 >  역대선거실시상황 >> 대통령선거
driver.find_element_by_xpath('''//*[@id="electionType1"]''').click()

# ~ 대통령선거 >> 선택
driver.find_element_by_xpath('''//*[@id="electionName"]''').click()

# ~ 대통령선거 >> 선택 >> 제19대
driver.find_element_by_xpath('''//*[@id="electionName"]/option[2]''').click()

time.sleep(2)
# ~ 대통령선거 >> 선택 >> 제19대 >> 선거 선택 >> 대통령선거
driver.find_element_by_xpath('''//*[@id="electionCode"]/option[2]''').click()

# 시도 선택
time.sleep(2)
sido_list_raw = driver.find_element_by_xpath("""//*[@id="cityCode"]""")
sido_list = sido_list_raw.find_elements_by_tag_name("option")

time.sleep(2)
sido_names_values_raw = [ option.text for option in sido_list ]

sido_names_values_raw[:5]

sido_names_values = sido_names_values_raw[2:]

sido_names_values

# 서울특별시  >> 검색 버튼 클릭
driver.find_element_by_id("cityCode").send_keys(sido_names_values[0])
driver.find_element_by_xpath('''//*[@id="searchBtn"]''').click()

# 서울특별시  >> 검색 버튼 클릭 >>  개표현황 표
from bs4 import BeautifulSoup

html = driver.page_source
soup = BeautifulSoup(html, 'lxml')

tmp = soup.find('table').find('tbody').find_all('tr')
tmp[0]

tmp=tmp[1:]
tmp[0]

# 구 이름
tmp_gu_si_gun_name =tmp[0].find_all("td")[0]
tmp_gu_si_gun_name.get_text()

# 투표수
tmp_gu_si_gun_num_of_votes = tmp[1].find_all("td")[2]
t1 = tmp_gu_si_gun_num_of_votes.text
tmp_votes = t1[: t1.find('(')].replace(',', "")
tmp_votes

# 문재인 득표수/득표율
tmp_gu_si_gun_Moon = tmp[1].find_all("td")[3]
tm = tmp_gu_si_gun_Moon.text
tmp_Moon_votes = tm[ : tm.find('(')].replace(',', "")
tmp_Moon_rate = tm[ tm.find('(') +1 : -1 ]
tm, tmp_Moon_votes, tmp_Moon_rate

# 홍준표 득표수/득표율
tmp_gu_si_gun_Hong = tmp[1].find_all("td")[4]
tH =  tmp_gu_si_gun_Hong.text
tmp_Hong_votes = tH[ : tH.find('(')].replace(',', "")
tmp_Hong_rate = tH[ tH.find('(') +1 : -1 ]
tH, tmp_Hong_votes, tmp_Hong_rate

# 안철수 득표수/득표율
tmp_gu_si_gun_Ahn = tmp[1].find_all("td")[5]
tA = tmp_gu_si_gun_Ahn.text
tmp_Ahn_votes = tA[ : tA.find('(')].replace(',', "")
tmp_Ahn_rate = tA[ tA.find('(') +1 : -1 ]
tH, tmp_Ahn_votes, tmp_Ahn_rate

from bs4 import BeautifulSoup
import time

name_si_do = []
name_gu_si_gun = []
num_votes = []
num_Moon = []
rate_Moon = []
num_Hong = []
rate_Hong = []
num_Ahn = []
rate_Ahn = []

for sido_name in sido_names_values:
    # 시도  >> 검색 버튼 클릭
    driver.find_element_by_id("cityCode").send_keys(sido_name)
    time.sleep(1)
    driver.find_element_by_xpath('''//*[@id="searchBtn"]''').click()
    # 시도  >> 검색 버튼 클릭 >>  개표현황 표
    html = driver.page_source
    time.sleep(1)
    soup = BeautifulSoup(html, 'lxml')
    table_tr = soup.find('table').find('tbody').find_all('tr')
    table_tr = table_tr[1:]

    for tmp in table_tr:
        # 구 이름
        tmp_gu_si_gun_name =tmp.find_all("td")[0]
        gu_si_gun_name = tmp_gu_si_gun_name.get_text()

        # 투표수
        tmp_gu_si_gun_num_of_votes = tmp.find_all("td")[2]
        t1 = tmp_gu_si_gun_num_of_votes.text
        tmp_votes = t1[: t1.find('(')].replace(',', "")

        # 문재인 득표수/득표율
        tmp_gu_si_gun_Moon = tmp.find_all("td")[3]
        tm = tmp_gu_si_gun_Moon.text
        tmp_Moon_votes = tm[ : tm.find('(')].replace(',', "")
        tmp_Moon_rate = tm[ tm.find('(') +1 : -1 ]

        # 홍준표 득표수/득표율
        tmp_gu_si_gun_Hong = tmp.find_all("td")[4]
        tH =  tmp_gu_si_gun_Hong.text
        tmp_Hong_votes = tH[ : tH.find('(')].replace(',', "")
        tmp_Hong_rate = tH[ tH.find('(') +1 : -1 ]

        # 안철수 득표수/득표율
        tmp_gu_si_gun_Ahn = tmp.find_all("td")[5]
        tA = tmp_gu_si_gun_Ahn.text
        tmp_Ahn_votes = tA[ : tA.find('(')].replace(',', "")
        tmp_Ahn_rate = tA[ tA.find('(') +1 : -1 ]

        time.sleep(1)
        name_si_do.append(sido_name)
        name_gu_si_gun.append(gu_si_gun_name)
        num_votes.append(tmp_votes)
        num_Moon.append(tmp_Moon_votes)
        rate_Moon.append(tmp_Moon_rate)
        num_Hong.append(tmp_Hong_votes)
        rate_Hong.append(tmp_Hong_rate)
        num_Ahn.append(tmp_Ahn_votes)
        rate_Ahn.append(tmp_Ahn_rate)

import pandas as pd

election_result = pd.DataFrame(
    {
        '광역시도' : name_si_do,
        '시군' : name_gu_si_gun,
        '투표수' : num_votes,
        '문재인 득표' : num_Moon,
        '문재인 득표율' : rate_Moon,
        '홍준표 득표': num_Hong,
        '홍준표 득표율' : rate_Hong,
        '안철수 득표' : num_Ahn,
        '안철수 득표율' : rate_Ahn
    },
    columns=['광역시도', '시군', '투표수', '문재인 득표', '문재인 득표율', '홍준표 득표', '홍준표 득표율', '안철수 득표', '안철수 득표율' ]
)

election_result.tail()

election_result.to_csv(
    './data_ouput/05.election_result.csv',
    encoding='utf-8',
    sep=','
)

import re

# 예제
example = '수원시장안구'
re.split('시|구', example)

election_result = pd.read_csv(
    './data_ouput/05.election_result.csv',
    encoding='utf-8',
    index_col=0
)

# 데이터 유형 파악
election_result.info()

import re


ID = []

for n in election_result.index:

    # '세종특별시'를 제외한 광역시
    if ( election_result['광역시도'][n][-1] == '시'  ) & ( election_result['광역시도'][n] != '세종특별자치시' ):
        #  광역시가 다르지만 이름이 같은 구 이름의 중복을 막기 위한 코드
        ## 구/시/군 이름의 길이가 2자인 경우
        if len(election_result['시군'][n]) == 2:
            ID.append( election_result['광역시도'][n][:2] + ' ' + election_result['시군'][n]  )
        ## 구/시/군 이름의 길이가 2자 이상인  경우
        else:
            ID.append( election_result['광역시도'][n][:2] + ' ' + election_result['시군'][n][:-1] )

   # '도'             
    elif ( election_result['광역시도'][n][-1] == '도' ):
        tmp = election_result['시군'][n]

        # 정규표현식 :  '시', '군' 없애기
        if tmp[0] not in ['시', '군']:
            tmp2 = re.split('시|군', tmp)
        else:
            tmp2 = [ tmp[:-1], '' ]

         # 구/시/군 이름 2자  >>  전남 고흥(군)
        if len( tmp2[1] ) == 2:
            tmp3 = tmp2[0] + ' ' + tmp2[1]
        # 구/시/군 이름 3자 이상  >> 경북 미리내(시)
        elif len(tmp2[1]) >= 3:
            tmp3 = tmp2[0] + ' ' + tmp2[1][:-1]
        else:
            tmp3 = tmp2[0]
        ID.append(tmp3)

    # 세종시
    else:
        ID.append('세종')

len(ID), len(election_result)

election_result['ID'] = ID

election_result.head()

# 문재인 후보에 대한 지지 비율이 높은 지역
election_result.sort_values( ['문재인 득표율'], ascending=False ).head()

# 홍준표 후보에 대한 지지 비율이 높은 지역
election_result.sort_values( ['홍준표 득표율'], ascending=False ).head()

draw_korea = pd.read_csv(
    './data_ouput/05.draw_korea.csv',
    encoding='utf-8',
    index_col=0
)

draw_korea.head()

set( draw_korea['ID'].unique() )  -  set( election_result['ID'].unique() )

set( election_result['ID'].unique() ) - set( draw_korea['ID'].unique() )

# 강원 고성과  경남 고성  서로 구분하기

election_result[ election_result['ID'] == '고성' ]

election_result.loc[125, 'ID'] = '고성(강원)'
election_result.loc[233, 'ID'] = '고성(경남)'

election_result[ election_result['시군'] == '고성군' ]

election_result.tail()

#  창원시의 긴 이름의 구  검색하기

election_result[ election_result['광역시도'] == '경상남도' ][:7]

election_result.loc[228, 'ID'] = '창원 합포'
election_result.loc[229, 'ID'] = '창원 회원'
election_result[ election_result['광역시도'] == '경상남도' ][:5]

# 부천
# 2016년 7월 4일 부터 구제를 폐지하고 10개의 행정복지센터(책임동)으로 전환 운영한다.

set( draw_korea['ID'].unique() )  -  set( election_result['ID'].unique() )

set( election_result['ID'].unique() ) - set( draw_korea['ID'].unique() )

# 부천은 1/3씩 나눠서 처리

election_result[ election_result['시군'] == '부천시' ]

votes_부천 = election_result.loc[ 85, '투표수' ] /3
Moon_votes = election_result.loc[ 85, '문재인 득표' ] /3
Moon_rate = election_result.loc[ 85, '문재인 득표율' ]
Hong_votes = election_result.loc[ 85, '홍준표 득표' ] /3
Hong_rate = election_result.loc[ 85, '홍준표 득표율' ]
Ahn_votes = election_result.loc[ 85, '안철수 득표' ] /3
Ahn_rate = election_result.loc[ 85, '안철수 득표율' ]

election_result.loc[250] = ['경기도', '부천시', votes_부천, Moon_votes, Moon_rate, Hong_votes, Hong_rate, Ahn_votes, Ahn_rate, '부천 소사' ]
election_result.loc[251] = ['경기도', '부천시', votes_부천, Moon_votes, Moon_rate, Hong_votes, Hong_rate, Ahn_votes, Ahn_rate, '부천 오정' ]
election_result.loc[252] = ['경기도', '부천시', votes_부천, Moon_votes, Moon_rate, Hong_votes, Hong_rate, Ahn_votes, Ahn_rate, '부천 원미' ]

election_result[ election_result['시군'] == '부천시' ]

election_result.drop( [85], inplace=True  )

election_result[ election_result['시군'] == '부천시' ]

# 일치 여부 최종 확인

set( draw_korea['ID'].unique() )  -  set( election_result['ID'].unique() )

set( election_result['ID'].unique() )  -  set( draw_korea['ID'].unique() )

draw_korea_election = pd.merge(
    election_result,
    draw_korea,
    how='left',
    on=['ID']
)

draw_korea_election.head()

draw_korea_election['문vs홍'] = draw_korea_election['문재인 득표율']  -  draw_korea_election['홍준표 득표율']
draw_korea_election['문vs안'] = draw_korea_election['문재인 득표율']  -  draw_korea_election['안철수 득표율']
draw_korea_election['홍vs안'] = draw_korea_election['홍준표 득표율']  -  draw_korea_election['안철수 득표율']

draw_korea_election.tail()

def draw_Korea(target_data, blocked_map, c_map_name):
    gamma = 0.75
    white_label_min = (
        max(blocked_map[target_data]) - min(blocked_map[target_data]) * 0.25 + min( blocked_map[target_data] )        
    )
    data_label = target_data
    vmin = min( blocked_map[target_data] )
    vmax = max( blocked_map[target_data] )

    BORDER_LINES = [
        # 인천
        [(5, 1), (5,2), (7,2), (7,3), (11,3), (11,0)],
        # 서울
        [(5,4), (5,5), (2,5), (2,7), (4,7), (4,9), (7,9), (7,7), (9,7), (9,5), (10,5), (10,4), (5,4)],
        # 경기도
        [(1,7), (1,8), (3,8), (3,10), (10,10), (10,7), (12,7), (12,6), (11,6), (11,5), (12, 5), (12,4), (11,4), (11,3)],
        # 강원도
        [(8,10), (8,11), (6,11), (6,12)],
        # 충청북도
        [(12,5), (13,5), (13,4), (14,4), (14,5), (15,5), (15,4), (16,4), (16,2)],
        # 전라북도
        [(16,4), (17,4), (17,5), (16,5), (16,6), (19,6), (19,5), (20,5), (20,4), (21,4), (21,3), (19,3), (19,1)],
        # 대전시
        [(13,5), (13,6), (16,6)],
        #세종시
        [(13,5), (14,5)],
        #광주
        [(21,2), (21,3), (22,3), (22,4), (24,4), (24,2), (21,2)],
        #전라남도
        [(20,5), (21,5), (21,6), (23,6)],
        #충청북도
        [(10,8), (12,8), (12,9), (14,9), (14,8), (16,8), (16,6)],
        #경상북도
        [(14,9), (14,11), (14,12), (13,12), (13,13)],
        #대구
        [(15,8), (17,8), (17,10), (16,10), (16,11), (14,11)],
        #부산
        [(17,9), (18,9), (18,8), (19,8), (19,9), (20,9), (20,10), (21,10)],
        #울산
        [(16,11), (16,13)],
        # [(9,14), (9,15)],
        [(27,5), (27,6), (25,6)],
    ]

    map_data = blocked_map.pivot_table(
        index='y',
        columns='x',
        values=target_data
        )
    masked_map_data = np.ma.masked_where(
        np.isnan(map_data),
        map_data
        )
    plt.figure( figsize=(9, 11) )
    plt.pcolor(masked_map_data, vmin=vmin, vmax=vmax, cmap=c_map_name, edgecolor='#aaaaaa', linewidth=0.5 )

    # 지역 이름 표시
    for idx, row in blocked_map.iterrows():
        # 광역시는 구 이름이 겹치는 경우가 많아서 시단위 이름을 같이 표시한다.
        if len( row['ID'].split() ) ==2:
            display_name = '{}\n{}'.format(row['ID'].split()[0], row['ID'].split()[1])
        elif row['ID'][:2] =='고성':
            display_name = '고성'
        else:
            display_name = row['ID']
        # 서대문구, 서귀포시 같이 이름이 3자 이상인 경우에 작은 글자로 표시한다
        if len(display_name.splitlines()[-1]) >= 3:
            fontsize, linespacing = 9.5, 1.5
        else:
            fontsize, linespacing = 11, 1.2
        annocolor = 'white' if row[target_data] > white_label_min else 'black'
        plt.annotate(
            display_name,
            (row['x']+0.5, row['y']+0.5),
            weight='bold',
            fontsize=fontsize,
            ha='center',
            va='center',
            color=annocolor,
            linespacing=linespacing
        )

        # 시도 경계를 그린다.
        for path in BORDER_LINES:
            ys, xs = zip(*path)
            plt.plot(xs, ys, c='black', lw=2)

    plt.gca().invert_yaxis()
    plt.axis('off')
    plt.tight_layout()
    plt.show()

import numpy as np

import matplotlib.pyplot as plt
%matplotlib inline

# 한글폰트 적용
import matplotlib.font_manager as fm

font_location = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'
font_name = fm.FontProperties(fname=font_location).get_name()

from matplotlib import rc
rc('font', family=font_name)

draw_Korea('문vs홍', draw_korea_election, 'Blues' )

#  대비 효과를 높이기 위한 draw_Korea 함수 수정


def draw_Korea(target_data, blocked_map, c_map_name):
    gamma = 0.75
#     white_label_min = (
#         max(blocked_map[target_data]) - min(blocked_map[target_data]) * 0.25 + min( blocked_map[target_data] )        
#     )
    white_label_min = 20.

    data_label = target_data
#     vmin = min( blocked_map[target_data] )
    vmin = -50
#     vmax = max( blocked_map[target_data] )
    vmax = 50

    BORDER_LINES = [
        # 인천
        [(5, 1), (5,2), (7,2), (7,3), (11,3), (11,0)],
        # 서울
        [(5,4), (5,5), (2,5), (2,7), (4,7), (4,9), (7,9), (7,7), (9,7), (9,5), (10,5), (10,4), (5,4)],
        # 경기도
        [(1,7), (1,8), (3,8), (3,10), (10,10), (10,7), (12,7), (12,6), (11,6), (11,5), (12, 5), (12,4), (11,4), (11,3)],
        # 강원도
        [(8,10), (8,11), (6,11), (6,12)],
        # 충청북도
        [(12,5), (13,5), (13,4), (14,4), (14,5), (15,5), (15,4), (16,4), (16,2)],
        # 전라북도
        [(16,4), (17,4), (17,5), (16,5), (16,6), (19,6), (19,5), (20,5), (20,4), (21,4), (21,3), (19,3), (19,1)],
        # 대전시
        [(13,5), (13,6), (16,6)],
        #세종시
        [(13,5), (14,5)],
        #광주
        [(21,2), (21,3), (22,3), (22,4), (24,4), (24,2), (21,2)],
        #전라남도
        [(20,5), (21,5), (21,6), (23,6)],
        #충청북도
        [(10,8), (12,8), (12,9), (14,9), (14,8), (16,8), (16,6)],
        #경상북도
        [(14,9), (14,11), (14,12), (13,12), (13,13)],
        #대구
        [(15,8), (17,8), (17,10), (16,10), (16,11), (14,11)],
        #부산
        [(17,9), (18,9), (18,8), (19,8), (19,9), (20,9), (20,10), (21,10)],
        #울산
        [(16,11), (16,13)],
        # [(9,14), (9,15)],
        [(27,5), (27,6), (25,6)],
    ]

    map_data = blocked_map.pivot_table(
        index='y',
        columns='x',
        values=target_data
        )
    masked_map_data = np.ma.masked_where(
        np.isnan(map_data),
        map_data
        )
    plt.figure( figsize=(9, 11) )
    plt.pcolor(masked_map_data, vmin=vmin, vmax=vmax, cmap=c_map_name, edgecolor='#aaaaaa', linewidth=0.5 )

    # 지역 이름 표시
    for idx, row in blocked_map.iterrows():
        # 광역시는 구 이름이 겹치는 경우가 많아서 시단위 이름을 같이 표시한다.
        if len( row['ID'].split() ) ==2:
            display_name = '{}\n{}'.format(row['ID'].split()[0], row['ID'].split()[1])
        elif row['ID'][:2] =='고성':
            display_name = '고성'
        else:
            display_name = row['ID']
        # 서대문구, 서귀포시 같이 이름이 3자 이상인 경우에 작은 글자로 표시한다
        if len(display_name.splitlines()[-1]) >= 3:
            fontsize, linespacing = 9.5, 1.5
        else:
            fontsize, linespacing = 11, 1.2
#         annocolor = 'white' if row[target_data] > white_label_min else 'black'
        annocolor = 'white' if np.abs( row[target_data] )  > white_label_min else 'black'
        plt.annotate(
            display_name,
            (row['x']+0.5, row['y']+0.5),
            weight='bold',
            fontsize=fontsize,
            ha='center',
            va='center',
            color=annocolor,
            linespacing=linespacing
        )

        # 시도 경계를 그린다.
        for path in BORDER_LINES:
            ys, xs = zip(*path)
            plt.plot(xs, ys, c='black', lw=2)

    plt.gca().invert_yaxis()
    plt.axis('off')
    plt.tight_layout()
    plt.show()

draw_Korea('문vs홍', draw_korea_election, 'RdBu' )

draw_Korea('문vs안', draw_korea_election, 'BrBG' )

draw_Korea('홍vs안', draw_korea_election, 'BrBG' )