백만스물하나안녕하세요
시계열 데이터를 Tensorflow로 Regression을 해서 값을 예측 해 보고 있습니다.
단순 NN, CNN, RNN(LSTM) 으로 Regression을 구현 해 봤습니다.
3개 방법 모두 Loss가 25% 수준에서 더 줄지 않는 상태 입니다.
다른 테크닉을 시도 해 보면
더 개선이 가능할까요 아니면 이 데이터가 가지는 한계라고 봐야 할까요?
다른 테크닉을 시도 해 본다면 어떤게 더 있을까요?
감사합니다.
안녕하세요
시계열 데이터를 Tensorflow로 Regression을 해서 값을 예측 해 보고 있습니다.
단순 NN, CNN, RNN(LSTM) 으로 Regression을 구현 해 봤습니다.
3개 방법 모두 Loss가 25% 수준에서 더 줄지 않는 상태 입니다.
다른 테크닉을 시도 해 보면
더 개선이 가능할까요 아니면 이 데이터가 가지는 한계라고 봐야 할까요?
다른 테크닉을 시도 해 본다면 어떤게 더 있을까요?
감사합니다.
CNN은 4개로 conv2d->pool 했었습니다.
LSTM은 TimeStep을 60으로 256 개 히든 레이어를 주었습니다.
3개가 다 동일한 loss에서 내려가지 않는 이유가 있을까요?
iteration 간격을 촘촘이 한다는 것이 배치 크기를 작게 해 보는 것을 인가요?
아니면 다른 것을 의미 하나요?
혹시 비용 함수의 저점을 알 수 있는 방법이 있을까요?
다만, 비용함수를 미분가능하다면 어떤 점에서 인자를 증가시키거나 감소시킬때 비용함수값이 떨어지거나 올라갈지 알수 있지요
그래서 인자값을 증가/감소시키며 또 가중치를 구하고 비용함수를 구하고 비용함수를 미분하는 과정은 반복하는게 Gr. descent 방법입니다.
요 증가/감소 시키는 폭을 조절하는게 중요한 튜닝중 하나인데, 폭이 너무 좁으면 연산이 너무 오래걸리고요, 폭이 너무 넓으면 이상적인 비용함수 저점을 지나칠 수 있습니다.
제 경우에는 learning rate 를 줄여 봐야겠네요
LSTM을 사용해보셨다니 이유는 잘 아실거라 생각되어 설명은 생략하겠습니다.
그나마 DNN은 Learning Data를 Preprocessing해서 살짝 성능을 개선해볼 수는 있긴한데...
CNN을 Time Series Data로 Learning했다는건 꽤 황당한 얘기군요;;;
직접 LSTM Algorithm을 구현해서 Learning해보니 잘 안 된다면 Algorithm 구현에 문제가 있을 수 있지만
TensorFlow를 사용하셨다니 Feature Selection의 문제가 아니라면 Learning Data의 Stationary 문제입니다.
TensorFlow, Caffe, Torch 같은 Deep Learning API 덕분에 Machine Learning 전공자가 아니어도 누구나 쉽게
Deep Learning을 시도해볼 수 있는 환경은 조성되었지만, Machine Learning Algorithm을 직접 구현할 수 있는
수준의 Background가 없이는 Deep Learning으로 남들이 해본 것의 Reproduction 이상은 어렵습니다.
출력의 범위가 0~1일 때 모든 입력에 대해서 출력을 0.5 로 내 보냈다는 뜻인것 같습니다
입력 데이터에 정보가 없었다는 의미가 될까요?
로또 번호 예측기 같은 것 아닐까 합니다.. ^^