백만스물하나안녕하세요
mysql 관련해서 여쭤볼게 있어서 글을 씁니다.
하루에 1줄 씩 쌓이는 데이터가 있습니다.
이 데이터를 변환해서
1줄에 해당 일 부터 60일 전 까지의 데이터를 1줄에 저장하고 싶습니다.
(1줄은 30여개의 Column으로 구성되어 있습니다.)
아래 그림 같은 형태로 변환하고 싶습니다.
단순히 mysql column 을 늘여서 해결 하려 했는데
too many columns 라고 에러가 발생합니다.
CSV 파일로 생성은 하고 있는데
mysql 에 저장하고 출력할 뭔가 좀 더 좋은 방법이 있을까요?
원본 파일 크기는 2G 정도 되고 변환을 거치면 120G 정도가 될 것 같습니다.
1일 30개 컬럼으로 저장된 데이터를
1줄에 60일치를 저장하게 <== 데이터 저장의 문제 ( 비효율 )
1줄에 60일치를 보여주게 <== 쿼리의 문제 ( 쉽게구현 )
어떤일을 하실려고 하시는는지 상세하게 설명 해주시면 답글이 많이 달릴겁니다.
데이터는 machine learning 용 학습 데이터로 사용 하려 합니다.
과거의 데이터를 사용하여 미래 데이터를 예측하는 용도로 사용 하려 하며
60일치를 한꺼번에 저장하려는 이유는
60일 치 데이터를 하나의 이미지 처럼 처리 하려고 하는 것과
학습시에 데이터(60일치로 저장된 데이터)를 shuffle 해서 사용하려 하는데
데이터를 60일치 가져와서 shuffle 하는 것이 쉽지 않을 것 같아서 입니다.
myisam 으로 엔진을 변경하시면 4096개까지 됩니다.
감사합니다