[크롤링] 할리스 커피 매장 정보 크롤링

https://www.hollys.co.kr/store/korea/korStore2.do?pageNo=10&sido=%EC%84%9C%EC%9A%B8&gugun=&store= 

할리스

크롤링 해올 할리스 페이지

박스쳐진 데이터를 크롤링하여 DB에 저장하기

 

라이브러리 Import

from bs4 import BeautifulSoup
import urllib.request
import time
import pandas as pd

페이지 HTML 가져오기

page_num = 10 # 페이지 넘버를 변수로 설정 
url = f'https://www.hollys.co.kr/store/korea/korStore2.do?pageNo={page_num}&sido=%EC%84%9C%EC%9A%B8&gugun=&store='
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html,'html.parser')

테이블 정보 받아오기

section = soup.find('div',attrs={'class':'tableType01'})
part = section.find_all('th',attrs={'scope':"col"})
part

col = []
for i in range(len(part)):
    col.append(part[i].get_text().strip())
col

page =section.find('tbody').find_all('tr')
page

page[0].find_all('td')[0].get_text()

table = {}
for c in col:
    table[c] = []
    
for j in range(len(col)):
    for i in range(len(page)):
        table[col[j]] += [page[i].find_all('td')[j].get_text()]
     
pd.DataFrame(table)

최종 코드

page_num = 10
url = f'https://www.hollys.co.kr/store/korea/korStore2.do?pageNo={page_num}&sido=%EC%84%9C%EC%9A%B8&gugun=&store='
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html,'html.parser')
section = soup.find('div',attrs={'class':'tableType01'})
part = section.find_all('th',attrs={'scope':"col"})
# part
col = []
for i in range(len(part)):
    col.append(part[i].get_text().strip())
page =section.find('tbody').find_all('tr')

table = {}
for c in col:
    table[c] = []
for j in range(len(col)):
    for i in range(len(page)):
        table[col[j]] += [page[i].find_all('td')[j].get_text()]