백만스물하나안녕하세요
mysql 에서 아래 쿼리를 실행했습니다.
SELECT * FROM nn.dataset_2day_normalize_60 where date >20120331 and date < 20150101;
DB Type은 MyISam 입니다.
index는 date에 걸어 놓았고
Data는 column 이 1684개 입니다. (자료형은 Float 입니다.)
전체 테이블은 9G 정도 되는데
위의 쿼리 시행 시간이 30분을 돌려도 끝나지 않습니다.
계속 놔두면 언젠가 끝나기는 합니다.
어떻게 해야 속도가 빨라질까요?
EXPLAIN SELECT * FROM nn.dataset_2day_normalize_60 where date >20120331 and date < 20150101;
실제로 인덱스가 잘 작동하는지 확인하신후 문제가 된다면 Force Index등으로 강제로 설정할 필요도 있습니다.
그리고 SELECT 조회 컬럼은 필요한 컬럼만 명시하는게 좋습니다.
explain을 먼저 해 봐야겠네요
id 1
select_type : Simple
Table : dataset_2day_normalize_60
partitions : null
type : range
possible_keys :idx1
Key : idx1
key_len : 4
ref : null
rows: 639588
filtered : 100.00
Extra : using index condition
으로 나오는데도 느립니다. (idx1가 date index 입니다.)
또 해볼 수 있는 것이 있을까요?
원래 index 안타는데 이것넣어 강제로 태우면 오히려 느려질 수 있습니다.
date >20120331 and date < 20150101 이 조건으로 봐서는 기간 조건이 매우 넓어
index를 안탈 것으로 보이거든요.
index를 만들었다고 해도
전체 건수에 비해 select 건수가 일정% 보다 많으면
full select 가
빨라 그렇게 처리 됩니다.
분할이 필요해 보이네요.
where 조건 범위를 봐서
Index를 안탈 가능성도 보이네요.
반복 실행 하는 것이 더 빠를 수 있습니다
장기적으로는
테이블을 정규화(수직분할 포함), 파티셔닝이 필요해 보입니다.
WHERE 절에 해당하는 데이터랑 idx만 남겨 놓고, 분리되어 있는 테이블에서 나머지 컬럼 값을 수집할 수 있도록 구성하면 몇 초도 안 걸릴 문제 같습니다.
가능하시면 DB를 SSD나 좀 더 빠른 환경으로 인프라 환경을 바꿔 보시는 것도 방법일 것 같습니다.
1회 성으로 자료를 만드는 중이어서
전체 데이터는 모두 필요한 상황입니다.
DB는 SSD에 올라가 있습니다
위에 답변 주신 것 보니까 강제 Force는 오히려 느릴 수 있다로 하시더라고요.
숫자를 줄여서 여러번 하는게 방법일것 같습니다.
from (
SELECT id값
FROM nn.dataset_2day_normalize_60 where date >20120331 and date < 20150101
) b join nn.dataset_2day_normalize_60 a on b.id값 = a.id값
이렇게 한번 해보세요
select a.*
from (
SELECT code, date
FROM nn.dataset_2day_normalize_60 where date >20120331 and date < 20150101
) b join nn.dataset_2day_normalize_60 a on ( (b.code = a.code) and (b.date = a.date) )
select a.*
from (
SELECT code, date
FROM nn.dataset_2day_normalize_60 where date >= 20120101 and date < 20120201
) b join nn.dataset_2day_normalize_60 a on ((b.code = a.code) and (b.date = a.date));
보다
SELECT * FROM nn.dataset_2day_normalize_60 where date >= 20120101 and date < 20120201;
가 빠른 것 같습니다.
월단위 정도로 where 조건 줄여서 반복 실행하시는 것이
가장 빨리 진행할 수 있을 것으로 보입니다.
SHOW INDEX FROM nn.dataset_2day_normalize_60 결과 올려줘보세요