인공 신경망의 뉴런은 90%의 시냅스와 가지돌기를 따라 흐르는 스파이크를 전혀 모델링하지 않았다(ref5). 제프 호킨스는 기존의 CNN구조 등이 모티프로 삼은 특질 위계 이론(hierarchy of feature detectors)이 설명하지 못하는 부분과 연관지어 자신의 주장을 강화한다(ref1,ref2,ref3).
읽으며 정말 소름이 돋았던 부분을 그대로 인용하면 다음과 같다.
143p, (연구자들은) 상(image)의 작은 부분에 있는 가장자리(edge)처럼 단순한 특질(feature)에 활성화되는 신경세포들(V1)을 발견했다. 그 신경세포들은 작은 영역의 단순한 특질에만 반응했기 때문에, 연구자들은 완전한 물체는 다른 곳에서 인식될 것이라고 가정했다. 이 연구로부터 특질 탐지기 위계 모형이 나왔다. 하지만 이 실험들에서 V1의 신경세포들 중 대부분은 명백한 것에 반응하지 않았다. 신경세포들은 때때로 극파를 발화하거나, 한동안 계속 극파를 발화하다가 멈추기도 했다. 대다수 신경세포는 특질 탐지기 위계 이론으로 설명할 수 없었고, 그래서 대개 무시되었다. … 눈이 신속 눈 운동을 하면서 한 고정점에서 다른 고정점으로 움직일 때, V1과 V2 영역의 일부 신경세포는 놀라운 일을 한다. 이 신경세포들은 눈이 움직임을 멈추기도 전에 무엇을 보게 될지 아는 것처럼 보인다. 이 신경세포들은 마치 새로운 입력을 보는 것처럼 활성화되지만, 아직 입력은 도착하지도 않았다. … 대상의 작은 부분만이 아니라 전체 대상에 대한 지식에 접근했음을 암시했기 때문이다.(ref3)
나는 바로 이 현상을 정확히 규명하는 것에 비지도학습의 열쇠가 있다고 생각한다. 현재 CNN은 그 무슨 짓을 하더라도 최전방의 피처 감지기들이 전역 정보와 어우러질 방법은 없다. 만약 저자의 주장대로 90%의 시냅스가 ‘예측’ 역할을 수행하는 것이 사실이라면, 현재의 뉴런 구조로 비디오를 학습하거나 3D 표현을 준지도학습하는 것은 매우 비효율적인 셈이다. 신경세포가 어떻게 예측을 수행하는지와 어떻게 피드백을 전달받는지를 밝혀내면 비지도학습, 결합 문제, 센서퓨전(ref4)에 새로운 패러다임이 열릴 것이다(ref3).
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료을 보관해 두는 영역입니다.
None
from : 과거의 어떤 원자적 생각이 이 생각을 만들었는지 연결하고 설명합니다.
- ‣
- 뇌과학을 이용해서 어떻게 컴퓨터가 더 잘 배우게 할 수 있을까? 그 질문에 대한 답이다.
- ‣
- 과거에는 막연하게 4D(3D+시간축) 정보를 모두 활용하는 것이 필요하다고 생각했을 뿐이다. 책 ‘천 개의 뇌’를 계기로 연구 방향에 대한 생각이 훨씬 구체화되었다.
- bb2.2.2. title: 크고 복잡하게 정의된 추상화 수준에 엄청난 삽질을 때려박아 하나의 더 나은 추상화 수준으로 만드는 것도 추상화이고, 크고 복잡하게 정의된 추상화 수준을 작은 단위로 분해하는 것도 추상화이다. 이런 재추상화는 문제를 다시 정의하는 것이다. 문제가 잘 정의되면 패러다임의 변화를 가져온다.
- 특질 위계 이론으로 설명할 수 없던 부분들이 있었기 때문에 이들은 대부분 무시되거나 복잡하게 이해되었다. 제프 호킨스는 뇌 전반을 설명할 수 있는 단 하나의 알고리즘이 있다고 주장한다. 만약 이 주장이 참이라면, 이는 패러다임 변화라고 볼 수 있다.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는지 연결합니다.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는지 연결합니다.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되거나 이어지는지를 작성하는 영역입니다.