MS Access보다 큰 용량을 가진 데이터베이스 관리 프로그램이 있나요?

판매 more

쓰기

MS Access보다 큰 용량을 가진 데이터베이스 관리 프로그램이 있나요?

python

2019-05

2019-05-09 16:21:30

조회 6337 추천 0

1600만 rows를 가진 csv 데이터가 있습니다.

excel에서는 행초과(104만 rows가 최대 용량?)로 열리지 않고,

access를 사용할 경우 excel과 연결 테이블(excel과 단순 연동)로 불러와 읽는 것은 가능한데,

수정을 하려고 excel에서 데이터를 불러와 별도로 access 안에 테이블을 생성할 경우 2gb 용량 초과로 불가능하더라구요.

일단 python 코드 상으로 불러오려고 했는데, 모든 데이터가 콤마(,)로만 분리된 것이 아니라 일부는 "|" 기호로 분리되어 있고,

일부 문자 호환성오류 (예, a위에 도트 엑센트 두개가 붙은 a'' 이런 문자들이 깨져서 한글로 나옴) 때문에

python 코드 상에서 바로 csv가 읽히지 않습니다.

데이터 전처리를 해야할 것 같은데 access보다 큰 데이터를 수정할 수 있는 소프트웨어가 있을까요?

짧은글 일수록 신중하게.



별해는아해 2019-05 https://code.tutsplus.com/ko/tutorials/quick-tip-how-to-read-extremely-large-text-files-using-python--cms-25992 이런식으로 읽을수있지 않나요? 그리고,대용량은 access보다 sqllite가 확장성이나 성능면에서 좋을겁니다 https://code.tutsplus.com/ko/tutorials/quick-tip-how-to-read-extremely-large-text-files-using-python--cms-25992 이런식으로 읽을수있지 않나요? 그리고,대용량은 access보다 sqllite가 확장성이나 성능면에서 좋을겁니다



엠브리오 2019-05 SQLITE 가 안되면 MySQL, 그거 가지고도 안되면 PostgreSQL ? SQLITE 가 안되면 MySQL, 그거 가지고도 안되면 PostgreSQL ?



양철괭이 2019-05 일단은 구분기호와 상관없이 자리수가 일정하다면 아무 디비에서나 다 가능할듯 싶은데.. access로 입력시 조건절을 사용해서 분리해 입력방법도 있을것 같습니다. ms sqlserver도 소기업용 무료버젼도 있기는 합니다. 일단은 구분기호와 상관없이 자리수가 일정하다면 아무 디비에서나 다 가능할듯 싶은데.. access로 입력시 조건절을 사용해서 분리해 입력방법도 있을것 같습니다. ms sqlserver도 소기업용 무료버젼도 있기는 합니다.



별해는아해 2019-05 SSMS의 가져오기 기능으로 해보세요 여기서 access로 가져오기 기능이 있지 않을까하네요 SSMS는 무료라 상관없을겁니다 다만, etl툴이긴하나, 실행파일로 만들수 있을겁니다 이게 ms제품이라 Ms것과는 잘 붙을겁니다 아마도....... SSMS의 가져오기 기능으로 해보세요 여기서 access로 가져오기 기능이 있지 않을까하네요 SSMS는 무료라 상관없을겁니다 다만, etl툴이긴하나, 실행파일로 만들수 있을겁니다 이게 ms제품이라 Ms것과는 잘 붙을겁니다 아마도.......



쓰레기단장 2019-05 웬만한 DBMS라면 그 정도 레코드는 충분히 처리가능합니다. mysql이나 마리아, postgress등등 다만 UI툴이 문제긴 한데, 저는 마리아에 mysql 워크벤치를 섞어서 쓰고 있습니다. 아주 잘 됩니다. (마리아의 기본 UI툴은 쉬레기 같아요..) 가능하면 MSSQL도 좋다고 생각합니다. 비주얼 스튜디오에 따라오는 라이트 버전이라도 될 것 같아요. 웬만한 DBMS라면 그 정도 레코드는 충분히 처리가능합니다. mysql이나 마리아, postgress등등 다만 UI툴이 문제긴 한데, 저는 마리아에 mysql 워크벤치를 섞어서 쓰고 있습니다. 아주 잘 됩니다. (마리아의 기본 UI툴은 쉬레기 같아요..) 가능하면 MSSQL도 좋다고 생각합니다. 비주얼 스튜디오에 따라오는 라이트 버전이라도 될 것 같아요.



ZSNET이진범 2019-05 MS SQL Server Express Edition을 사용하시는게 제일 편할껍니다. 상업적 목적으로도 무료사용이 가능합니다. MS SQL Server Express Edition을 사용하시는게 제일 편할껍니다. 상업적 목적으로도 무료사용이 가능합니다.



엠브리오 2019-05 업체에 매여 있는 데이터베이스 프로그램들은 갈수록 정이 떨어져서.. MySQL의 경우에도 모 업체로 넘어간 이후 라이센스 문제로 시끄러워진 상황이라, 나중에 문제꺼리를 만들지 않기 위해, "고객"이 반드시 해달라고 요청하지 않는 이상 다 제외시킵니다. 업체에 매여 있는 데이터베이스 프로그램들은 갈수록 정이 떨어져서.. MySQL의 경우에도 모 업체로 넘어간 이후 라이센스 문제로 시끄러워진 상황이라, 나중에 문제꺼리를 만들지 않기 위해, "고객"이 반드시 해달라고 요청하지 않는 이상 다 제외시킵니다.



python 2019-05 대학원생인데 데이터나 전산쪽 전공이 아니라 걸쳐서 하려니까 해당 분야에서 매번 아는게 부족하네요. 많은 답변 감사합니다. sqlite랑 mySQL 좀 알아봐야겠네요. 대학원생인데 데이터나 전산쪽 전공이 아니라 걸쳐서 하려니까 해당 분야에서 매번 아는게 부족하네요. 많은 답변 감사합니다. sqlite랑 mySQL 좀 알아봐야겠네요.



엠브리오 2019-05 많은 양의 데이터를 다루는데는 여러가지 방법이 있지만, 데이터베이스를 이용하기 위해서는 SQL을 배워두는게 좋습니다. http://www.sqlitetutorial.net INSERT 데이터 입력 - http://www.sqlitetutorial.net/sqlite-insert/ SELECT 데이터 검색 - http://www.sqlitetutorial.net/sqlite-select/ UPDATE 데이터 수정 - http://www.sqlitetutorial.net/sqlite-update/ DELETE 데이터 삭제 - http://www.sqlitetutorial.net/sqlite-delete/ 위 네가지가 기본이고 나머지는 필요에 따라 추가로 익히면 됩니다. http://www.sqlitetutorial.net/sqlite-import-csv/ 많은 양의 데이터를 다루는데는 여러가지 방법이 있지만, 데이터베이스를 이용하기 위해서는 SQL을 배워두는게 좋습니다. http://www.sqlitetutorial.net INSERT 데이터 입력 - http://www.sqlitetutorial.net/sqlite-insert/ SELECT 데이터 검색 - http://www.sqlitetutorial.net/sqlite-select/ UPDATE 데이터 수정 - http://www.sqlitetutorial.net/sqlite-update/ DELETE 데이터 삭제 - http://www.sqlitetutorial.net/sqlite-delete/ 위 네가지가 기본이고 나머지는 필요에 따라 추가로 익히면 됩니다. http://www.sqlitetutorial.net/sqlite-import-csv/



무아 2019-05 >>수정을 하려고 excel에서 데이터를 불러와 별도로 access 안에 테이블을 생성할 경우 2gb 용량 초과로 불가능하더라구요. 무서운 시도 입니다. 수정을 하려면 해당 데이터만 추려서(SELECT) 수정하고 업데이트 해야합니다. 아무리 디비성능이 좋다고한들 데이터 전부를 메모리에 올리려는 시도는 않는게 좋아요. 데이터 전처리라고 하셨는데... 어떠한 전처리를 해야하는 건지에 따라 대용량 db 프로그램을 쓰더라도 늪속에 빠질 수 있습니다. 그 전처리라는 것이 어떤 작업인가요? >>수정을 하려고 excel에서 데이터를 불러와 별도로 access 안에 테이블을 생성할 경우 2gb 용량 초과로 불가능하더라구요. 무서운 시도 입니다. 수정을 하려면 해당 데이터만 추려서(SELECT) 수정하고 업데이트 해야합니다. 아무리 디비성능이 좋다고한들 데이터 전부를 메모리에 올리려는 시도는 않는게 좋아요. 데이터 전처리라고 하셨는데... 어떠한 전처리를 해야하는 건지에 따라 대용량 db 프로그램을 쓰더라도 늪속에 빠질 수 있습니다. 그 전처리라는 것이 어떤 작업인가요?



python 2019-05 말씀 감사합니다. access도 실제로 필요해 써본적은 처음이라 몰랐는데, mySQL를 좀 알아보니, 말씀하신대로 해당 변수만 select해서 불러온 뒤 작업하는 것이 맞는 것 같습니다. 사실 데이터 상에 특수문자들(예, a 위에 dot가 두개 엑센트 달린 a'' <- 이것과 같이 영문에 도트 엑센트 붙은 것들을 뭐라해야하는지는 모르겠네요) 이런것들이 access 상에서 글씨가 깨져 쵗 <- 이런식으로 나타나더라구요). python 코드 상에서도 특수 문자 때문에 바로 csv를 읽어오는 것이 잘 안됬는데, 찾아보니 python 상에서 csv load할 때 utf-8 encoding하면 특수문자도 안깨지고 불러올수 있길레 이쪽으로 해보고 있습니다. 말씀주셔서 감사합니다. 말씀 감사합니다. access도 실제로 필요해 써본적은 처음이라 몰랐는데, mySQL를 좀 알아보니, 말씀하신대로 해당 변수만 select해서 불러온 뒤 작업하는 것이 맞는 것 같습니다. 사실 데이터 상에 특수문자들(예, a 위에 dot가 두개 엑센트 달린 a'' <- 이것과 같이 영문에 도트 엑센트 붙은 것들을 뭐라해야하는지는 모르겠네요) 이런것들이 access 상에서 글씨가 깨져 쵗 <- 이런식으로 나타나더라구요). python 코드 상에서도 특수 문자 때문에 바로 csv를 읽어오는 것이 잘 안됬는데, 찾아보니 python 상에서 csv load할 때 utf-8 encoding하면 특수문자도 안깨지고 불러올수 있길레 이쪽으로 해보고 있습니다. 말씀주셔서 감사합니다.



무아 2019-05 독일어 배울땐 그걸 움라우트라고 불렀던 거 같습니다 https://www.google.com/search?client=firefox-b-d&q=%EC%9B%80%EB%9D%BC%EC%9A%B0%ED%8A%B8 독일어 배울땐 그걸 움라우트라고 불렀던 거 같습니다 https://www.google.com/search?client=firefox-b-d&q=%EC%9B%80%EB%9D%BC%EC%9A%B0%ED%8A%B8



김제연 2019-05 근데 .. 1600만 로우여도 .. 2gb가 넘는게 이상합니다.. 엑셀에도 들어갈 정도의 크기이면.. mdb 파일이 2기가가 넘어가지 않을것 같은데 말이죠 .. 근데 .. 1600만 로우여도 .. 2gb가 넘는게 이상합니다.. 엑셀에도 들어갈 정도의 크기이면.. mdb 파일이 2기가가 넘어가지 않을것 같은데 말이죠 ..



python 2019-05 *비밀글입니다



김제연 2019-05 *비밀글입니다



python 2019-05 *비밀글입니다



김제연 2019-05 ㅎㅎ 찾아보시면.. python 이 .. 인코딩 문제가 아주 골머리 아픕니다.. 2버전에서는 완전 복잡했는데 3버전 와서는 그래도 괜찮아 진걸로 알고 있습니다. ㅎㅎ 찾아보시면.. python 이 .. 인코딩 문제가 아주 골머리 아픕니다.. 2버전에서는 완전 복잡했는데 3버전 와서는 그래도 괜찮아 진걸로 알고 있습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1348/5729

번호	제목Page 1348/5729	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5258197	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5258197 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1783028	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1783028 1 백메가
87622	dell R420 하드 디스크 최대 지원용량이 어떻게 되나요? (4)	구차니	2019-05	3776	0
dell R420 하드 디스크 최대 지원용량이 … (4) 2019-05 3776 1 구차니
87621	dell 서버 하드웨어 교체? (2)	chotws	2019-05	2908	0
dell 서버 하드웨어 교체? (2) 2019-05 2908 1 chotws
87620	[질문] 아파트 유지보수용 시멘트 / 방수제 어떤 것이 좋을까요?? (6)	박문형	2019-05	3257	0
[질문] 아파트 유지보수용 시멘트 / 방수… (6) 2019-05 3257 1 박문형
87619	슈마 바이오스 올리는 법 문의드립니다.- 덕분에 해결했습니다. (14)	원주멋진덩치	2019-05	4541	0
슈마 바이오스 올리는 법 문의드립니다.- … (14) 2019-05 4541 1 원주멋진덩치
87618	할당 안된 공간 합치는 방법이 알고 싶습니다. (3)	비엘이브	2019-05	2683	0
할당 안된 공간 합치는 방법이 알고 싶습… (3) 2019-05 2683 1 비엘이브
87617	Hba 인터널포트는 왜 사용하는건거요 (3)	잘하자	2019-05	2682	0
Hba 인터널포트는 왜 사용하는건거요 (3) 2019-05 2682 1 잘하자
87616	바이두 외국인가입페이지에서 가입하려는데...막혔나요? (1)	김건우	2019-05	5352	0
바이두 외국인가입페이지에서 가입하려는… (1) 2019-05 5352 1 김건우
87615	회사 로고 제작하고 홈페이지 제작 괜찮은 업체 추천좀 부탁 드립니다. (4)	땅땅	2019-05	2987	0
회사 로고 제작하고 홈페이지 제작 괜찮은… (4) 2019-05 2987 1 땅땅
87614	Hba의 외부포트는 외부장비 연결시에만 사용가능한가요 (2)	잘하자	2019-05	3109	0
Hba의 외부포트는 외부장비 연결시에만 사… (2) 2019-05 3109 1 잘하자
87613	Linx 링스 0.9.3 질문좀 드릴게요.. (4)	JW마르니	2019-05	6075	0
Linx 링스 0.9.3 질문좀 드릴게요.. (4) 2019-05 6075 1 JW마르니
87612	시놀로지 DS118 예약됨 메모리 영역 문의 (1)	깡통이	2019-05	4173	0
시놀로지 DS118 예약됨 메모리 영역 문의 (1) 2019-05 4173 1 깡통이
87611	슈마 Supermicro MBD-X9DRI-F-O X9DRi-F 보드 I/O shield 구할 수 없을까요? (4)	susemi	2019-05	2968	0
슈마 Supermicro MBD-X9DRI-F-O X9DRi-F … (4) 2019-05 2968 1 susemi
87610	리안리 오래된 케이스 구할 방법 없을까요? (14)	일론머스크	2019-05	4254	0
리안리 오래된 케이스 구할 방법 없을까요? (14) 2019-05 4254 1 일론머스크
87609	ubuntu sudo 질문있습니다. (4)	라이젠	2019-05	3020	0
ubuntu sudo 질문있습니다. (4) 2019-05 3020 1 라이젠
87608	ESXI 에서 인피니밴드 성공하신분계신가요? (3)	김상혁2	2019-05	4381	0
ESXI 에서 인피니밴드 성공하신분계신가요? (3) 2019-05 4381 1 김상혁2
87607	KVM 관련 질문입니다. (2)	구차니	2019-05	3270	0
KVM 관련 질문입니다. (2) 2019-05 3270 1 구차니
87606	dell poweredge R610 바이오스 업데이트 쉬운방법 (4)	chotws	2019-05	5103	0
dell poweredge R610 바이오스 업데이트 … (4) 2019-05 5103 1 chotws
87605	S2600coe 테스트 (3)	굴렁쇠	2019-05	3007	0
S2600coe 테스트 (3) 2019-05 3007 1 굴렁쇠
87604	SFF-8639를 SATA 케이블로 변환시켜주는 케이블이 이게 맞나요? (17)	쟈니오빠	2019-05	5922	0
SFF-8639를 SATA 케이블로 변환시켜주는 … (17) 2019-05 5922 1 쟈니오빠
87603	SFF-8639 용으로 만들어진 NVME 컨버터를 구입했는데 문제가 생겼습니다. (8)	쟈니오빠	2019-05	4155	0
SFF-8639 용으로 만들어진 NVME 컨버터를 … (8) 2019-05 4155 1 쟈니오빠