Layer 시각화

처음 : 인간의 시각화와 유사 . 이미지의 edge 같은 특징들을 뽑아냄

layer가 깊어지면 ?

이해하기 힘든 필터들이 나옴 → 블랙박스

필터를 거칠수록 피쳐맵들이 이미지 내에서 어떤 부분의 전문가가 됨. 가중치들이 내적되면서 층이 깊어질수록 인간이 이해하기 힘듦

Last layer

FC layer에서 4096차원으로 데이터를 flatten → 그 특징 vector들의 시각화는 Nearest Neighbor로 이루어짐 → 유사한 이미지들이 카테고리화됨

( NN : 특징 공간에서 가장 가까운 이웃을 찾음 . 각 벡터를 공간상의 한 점으로 생각하고 , 이들 점들 사이의 거리를 계산, 가까이 있는 점들은 유사한 특징을 가진 이미지들을 나타냄 )

4096 특징 벡터를 2차원으로 축소시켜서 시각화

4096 특징 벡터를 t-SNE 와 PCA 로 2차원으로 군집화해서 2차원으로 축소함으로 시각화

Feature map 시각화

초록색 박스 : 얼굴

직관적으로 이해할 수 있는것들을 일부는 볼 수 있음

Maximally Activating Patches