iMTE

Sparse regularization Autoencoder는 입력된 데이터를 저차원으로 encoding하고 다시 고차원으로 decoding하는 unsupervised learning이다. 만약 hidden layer가 input layer의 dimension보다 작고, activation function으로 linear function을 사용하면, 이 autoencoder는 PCA와 동일한 역할을 한다. 즉, 분산이 큰 factor를 찾아내고 그 factor로 데이터를 transformation하는 것이다. 만약, hidden layer와 input layer의 차원이 같고 activation function이 linear function이라면, hidden layer는 identity matrix와 ..