1600만 rows를 가진 csv 데이터가 있습니다.
excel에서는 행초과(104만 rows가 최대 용량?)로 열리지 않고,
access를 사용할 경우 excel과 연결 테이블(excel과 단순 연동)로 불러와 읽는 것은 가능한데,
수정을 하려고 excel에서 데이터를 불러와 별도로 access 안에 테이블을 생성할 경우 2gb 용량 초과로 불가능하더라구요.
일단 python 코드 상으로 불러오려고 했는데, 모든 데이터가 콤마(,)로만 분리된 것이 아니라 일부는 "|" 기호로 분리되어 있고,
일부 문자 호환성오류 (예, a위에 도트 엑센트 두개가 붙은 a'' 이런 문자들이 깨져서 한글로 나옴) 때문에
python 코드 상에서 바로 csv가 읽히지 않습니다.
데이터 전처리를 해야할 것 같은데 access보다 큰 데이터를 수정할 수 있는 소프트웨어가 있을까요?
이런식으로 읽을수있지 않나요?
그리고,대용량은 access보다 sqllite가 확장성이나 성능면에서 좋을겁니다
access로 입력시 조건절을 사용해서 분리해 입력방법도 있을것 같습니다. ms sqlserver도 소기업용 무료버젼도 있기는 합니다.
여기서 access로 가져오기 기능이 있지 않을까하네요
SSMS는 무료라 상관없을겁니다
다만, etl툴이긴하나, 실행파일로 만들수 있을겁니다
이게 ms제품이라 Ms것과는 잘 붙을겁니다
아마도.......
가능하면 MSSQL도 좋다고 생각합니다. 비주얼 스튜디오에 따라오는 라이트 버전이라도 될 것 같아요.
상업적 목적으로도 무료사용이 가능합니다.
MySQL의 경우에도 모 업체로 넘어간 이후 라이센스 문제로 시끄러워진 상황이라,
나중에 문제꺼리를 만들지 않기 위해, "고객"이 반드시 해달라고 요청하지 않는 이상 다 제외시킵니다.
데이터베이스를 이용하기 위해서는 SQL을 배워두는게 좋습니다.
http://www.sqlitetutorial.net
INSERT 데이터 입력 - http://www.sqlitetutorial.net/sqlite-insert/
SELECT 데이터 검색 - http://www.sqlitetutorial.net/sqlite-select/
UPDATE 데이터 수정 - http://www.sqlitetutorial.net/sqlite-update/
DELETE 데이터 삭제 - http://www.sqlitetutorial.net/sqlite-delete/
위 네가지가 기본이고 나머지는 필요에 따라 추가로 익히면 됩니다.
http://www.sqlitetutorial.net/sqlite-import-csv/
무서운 시도 입니다.
수정을 하려면 해당 데이터만 추려서(SELECT) 수정하고 업데이트 해야합니다.
아무리 디비성능이 좋다고한들 데이터 전부를 메모리에 올리려는 시도는 않는게 좋아요.
데이터 전처리라고 하셨는데... 어떠한 전처리를 해야하는 건지에 따라 대용량 db 프로그램을 쓰더라도 늪속에 빠질 수 있습니다.
그 전처리라는 것이 어떤 작업인가요?
사실 데이터 상에 특수문자들(예, a 위에 dot가 두개 엑센트 달린 a'' <- 이것과 같이 영문에 도트 엑센트 붙은 것들을 뭐라해야하는지는 모르겠네요) 이런것들이 access 상에서 글씨가 깨져 쵗 <- 이런식으로 나타나더라구요). python 코드 상에서도 특수 문자 때문에 바로 csv를 읽어오는 것이 잘 안됬는데, 찾아보니 python 상에서 csv load할 때 utf-8 encoding하면 특수문자도 안깨지고 불러올수 있길레 이쪽으로 해보고 있습니다.
말씀주셔서 감사합니다.
https://www.google.com/search?client=firefox-b-d&q=%EC%9B%80%EB%9D%BC%EC%9A%B0%ED%8A%B8
mdb 파일이 2기가가 넘어가지 않을것 같은데 말이죠 ..
2버전에서는 완전 복잡했는데
3버전 와서는 그래도 괜찮아 진걸로 알고 있습니다.