안녕하세요. 현재 회사에서 aws를 사용 중이고 전체 데이터를 rds(aurora mysql)를 사용해서 서비스 중에 있습니다.

서비스 사용자는 약 10만명 정도 되고, 데이터 용량은 2tb에서 계속하여 증가 중에 있습니다. 문제는 용량보다는 건수인데요. 현재 약 10억건에서 급속도로 증가하고 있습니다. 아마 신기능 출시하면 데이터 용량도 기하급수적으로 증가하지 않을까 생각됩니다.

어찌됐던 현재 수준에서 rds와 s3로 어느정도 감당은 하고 있고 스케일업을 통해서 한동안 버틸 수는 있을 것 같습니다.

그런데 문제는 데이터 분석인데요. 복잡한 쿼리를 rds 에서 감당을 못합니다. Read replica를 만들어서 쿼리를 실행해도 수십분이 걸리거나 뻗어버리는 경우가 빈번해서 현재 분석 업무를 진행하지 못하고 있습니다. 

데이터를 로컬로 dump 뜨는 방법은 현재 망분리 등의 문제로 불가능한 상황입니다. 

때문에 athena, redshift를 알아보고 있는데 어느 방향이 맞는지 잘 모르겠습니다. 저희는 1) 대용량 데이터에 대한 복잡한 쿼리를 날려서 수분내 결과를 받아보고 싶은 니즈와 2) 추가적으로 머신러닝 모델 학습에 필요한 데이터를 간편하게 feeding하고 싶은 니즈가 있습니다. 

혹여나 경험이 있으신 분이 조언을 해주시면 너무나 감사하겠습니다.