Visualizing outputs from intermediate layers

Deep neural network는 대표적인 black box로 내부에 어떤 경과를 통해서 decision이 되었는지를 알지 못하는 문제가 있다. Support Vector Machine도 그런점을 갖고 있다. 반대로 Decision tree는 decision 과정을 확인할 수 있기 때문에 대표적인 white box 형태의 machine learning model이다. Deep neural network는 output layer의 activation 결과를 바탕으로 learned filter가 어떤 feature map을 만들었는지를 확인할 수 있다. 다음은 pytorch로 pre-trained vgg16의 feature map을 확인한 결과이다. 그리고 learned된 filter의 형태를 나타냈다.