Midabo 2017-04

Hidden layer 를 어떻게 두셨는지요

nshhsn 2017-04

nn 은 20개까지 주어 봤고요
CNN은 4개로 conv2d->pool 했었습니다.
LSTM은 TimeStep을 60으로 256 개 히든 레이어를 주었습니다.
3개가 다 동일한 loss에서 내려가지 않는 이유가 있을까요?

Midabo 2017-04

일단 iteration 간격을 좀 촘촘히 주셔서 한번 해보는게 좋지 않을까요? 비용함수 저점을 지나쳤을 수도 있겠다는 느낌입니다.

nshhsn 2017-04

감사합니다.

iteration 간격을 촘촘이 한다는 것이 배치 크기를 작게 해 보는 것을 인가요?
아니면 다른 것을 의미 하나요?

혹시 비용 함수의 저점을 알 수 있는 방법이 있을까요?

Midabo 2017-04

비용함수의 저점을 모르기 때문에 수많은 알고리즘이 등장한 것이죠 ^^

다만, 비용함수를 미분가능하다면 어떤 점에서 인자를 증가시키거나 감소시킬때 비용함수값이 떨어지거나 올라갈지 알수 있지요

그래서 인자값을 증가/감소시키며 또 가중치를 구하고 비용함수를 구하고 비용함수를 미분하는 과정은 반복하는게 Gr. descent 방법입니다.

요 증가/감소 시키는 폭을 조절하는게 중요한 튜닝중 하나인데, 폭이 너무 좁으면 연산이 너무 오래걸리고요, 폭이 너무 넓으면 이상적인 비용함수 저점을 지나칠 수 있습니다.

nshhsn 2017-04

답변 감사합니다
제 경우에는  learning rate 를 줄여 봐야겠네요

완소훈남 2017-04

Time Series는 DNN과 CNN에서 Learning이 잘 안 됩니다.
LSTM을 사용해보셨다니 이유는 잘 아실거라 생각되어 설명은 생략하겠습니다.
그나마 DNN은 Learning Data를 Preprocessing해서 살짝 성능을 개선해볼 수는 있긴한데...
CNN을 Time Series Data로 Learning했다는건 꽤 황당한 얘기군요;;;
직접 LSTM Algorithm을 구현해서 Learning해보니 잘 안 된다면 Algorithm 구현에 문제가 있을 수 있지만
TensorFlow를 사용하셨다니 Feature Selection의 문제가 아니라면 Learning Data의 Stationary 문제입니다.
TensorFlow, Caffe, Torch 같은 Deep Learning API 덕분에 Machine Learning 전공자가 아니어도 누구나 쉽게
Deep Learning을 시도해볼 수 있는 환경은 조성되었지만, Machine Learning Algorithm을 직접 구현할 수 있는
수준의 Background가 없이는 Deep Learning으로 남들이 해본 것의 Reproduction 이상은 어렵습니다.

nshhsn 2017-04

여러 방법에서 공통적으로 loss 25%가 무엇을 의미하는지 생각해 보니
출력의 범위가 0~1일 때 모든 입력에 대해서 출력을 0.5 로 내 보냈다는 뜻인것 같습니다
입력 데이터에 정보가 없었다는 의미가 될까요?

무아 2017-04

혹 그런 경우가
로또 번호 예측기 같은 것 아닐까 합니다.. ^^