iMTE

Deep neural network는 대표적인 black box로 내부에 어떤 경과를 통해서 decision이 되었는지를 알지 못하는 문제가 있다. Support Vector Machine도 그런점을 갖고 있다. 반대로 Decision tree는 decision 과정을 확인할 수 있기 때문에 대표적인 white box 형태의 machine learning model이다. Deep neural network는 output layer의 activation 결과를 바탕으로 learned filter가 어떤 feature map을 만들었는지를 확인할 수 있다. 다음은 pytorch로 pre-trained vgg16의 feature map을 확인한 결과이다. 그리고 learned된 filter의 형태를 나타냈다.