대한민국자료를 최종적으로 csv파일이나 엑셀형태로 내보내고싶은데요.
아래와같이 프로그래밍 했을때 엑셀형태로 내보내기위한 명령어 사용이 안됩니다...
최종 적으로 원하는 데이터 형태는 아래와 같습니다..
Date Price
2018.3.20 25000
2018.3.22 26400
import requests
import csv
from bs4 import BeautifulSoup
import pandas as pd
code="105560"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
html = requests.get(url,headers = headers).text
soup = BeautifulSoup(html, "html.parser")
data=str(soup)
first = "(["
last = "])"
getrid_firt = data.split(first, 1)[1]
strdata = getrid_firt.split(last, 1)[0]
print(strdata)
일단 위와같이 코딩을한 배경을 간단히 말씀드리자면
>>> soup
jQuery112406638263512384042_1563692725032([[Date.UTC(2008,9,11),47000],
[Date.UTC(2008,9,14),50700],
[Date.UTC(2008,9,15),53100],
[Date.UTC(2008,9,16),51000],
....
[Date.UTC(2019,6,26),44150],
[Date.UTC(2019,6,27),43800]])
위와같이 첫줄과 막줄에 불필요한 문자들이 포함되어있어 이를 제거하기 위해
soup = BeautifulSoup(html, "html.parser")
data=str(soup)
스트링 처리를하고
first = "(["
last = "])"
getrid_firt = data.split(first, 1)[1]
strdata = getrid_firt.split(last, 1)[0]
([기호 앞부분과 ])기호 뒷부분을 제거하여 strdata에 저장하였습니다.
그 결과 이게 pandas를 이용해 to_csv를 이용하기가 어려워졌습니다....
엑셀이나 CSV에
Date Price
2018.3.20 25000
2018.3.22 26400
이런식으로 결과가 입력되기만 하면되는데....기본이 없으니 삥삥 돌고있습니다....
혹시 가능하시면 도움을 좀 부탁드립니다.
좋을거같습니다. 응답된 데이터를 보면 월자리라고 예측되는곳에 0월도 있고 일 자리라고 예측되는곳에 32일이라고 적힌곳도 있어요..
이런거까지 전부 교정해야할텐데 이런걸 일일이 다 알려드릴수는 없지 않을까요?
일단 올리신 소스에서는 응답된 데이터를 bs4로 갈 필요 없이 .text로 파싱한거 그대로 쓰시면 될거같고요.
응답된 데이타가 좀 지저분한 구조라서 정규표현식을 좀 익히셔야할거같습니다.
그리고 csv로 저장할때는 pandas까지 쓰실 필요 없고 그냥 import csv해서 사용하셔도 무방할듯하고요.
말씀처럼조금씩 공부하면서 가고있습니다. 조급함 때문이지요 ㅎㅎㅎ
말씀해주신것처럼 .text파싱한것 그대로 가도 괜찮네요~!
헌데 제가 잘 모르는것 같은것이 csv나 엑셀형태로 내보낼때 자료형이 어떤것이어야 하나요?
앞뒤에있는 불필요한 부분이나. [,]()와 같은 불필요한 기호를 없애려고 str자료형으로 바꾸었더니
나중에 csv로 내보내도 한자한자 셀을 바꿔 저장이 되네요 ㅎㅎㅎ
다시 자료형을 바꾸면 될까요??
엑셀로 뽑을려면 pip로 외부 모듈을 불러다가 써야하는데 이게 모듈마다 사용법이 다르다보니 그냥 csv로 저장하는게 편할거라고 생각됩니다.
파이썬으로 데이타만 스크래핑해서 엑셀에 불러놓고 먼가 작업을 하실려는거같은데 파이썬을 좀 더 익히셔서 엑셀을 이용하지 않고 처리하는게
속도면에서도 기능면에서도 월등하리라 생각됩니다만 database까지 같이 익히셔야할겁니다..