이론의 본성에 관하여 : 신경전산학적 관점
○ 문장 중심적 입장 : 이론에 대한 기존의 입장 : 이론이란 1차 술어 논리식으로 표현가능한 문장들이나 명제들의 집합이다.
이유 : 어떤 이론이든 언명가능(statable)해야한다. 이와 같은 문장 중심적 입장은 이론의 1차적인 과제인 예측, 설명, 이론 간의 환원이 1차 술어 논리의 연역으로 이루어짐을 (체계적으로) 보여줄 수 있었다. + 학습과 합리성(rationality)의 본성(nature)에 대한 설명(약속)
○ 이러한 입장에 문제들이 있다는 것을 인정하면서도 대부분의 사람들이 이 문제가 치명적이라고는 생각하지 않는다. ⇔ 필자의 견해 : 이러한 시도의 실패에 크게 자극받음
○ 필자의 진단 : 고전적 접근법의 결점은 일종의 언어와 같은 구조가 인지적 생물체 속의 기초적, 혹은 가장 중요한 표상 형식을 구성한다는 기본 전제이며, 인지(cognition)는 구조에 민감한(structure-sensitive) 규칙들로 그 표상들을 조작하는 것 안에 존재한다는 상관적인 가정이다.
○ 필자의 대안 : 신경망적 관점 - 인지 신경생물학과 연결주의적 인공지능의 발전에 근거.
2. 문제들과 대안적 접근법들.
○ 문장중심적 입장은 폭넓은 측면에서 실패 : 1)인공지능에서의 실패, 2)지나친 가정, 3) 학습에 대한 설명에서의 실패, 4) 생물학적 연구와의 부조화
1) 인공지능에서의 실패 : 제안된 규칙들 중 최고의 것조차도 신뢰성을 충분히 입증하지 못했고, 인공적으로 제한적인 상황, 혹은 장난감 상황들 속에서도 제대로 기능을 하지 못함.
2) 지나친 가정 : 학습 주체가 이미 상당히 정교한 학습을 성공적으로 이행했음을 가정.
(예 : 지각적 차별화, 언어적 명제 체계 등을 이미 학습했다고 가정.) - 이런 것은 학습 이전의 유아들이 갖고 있지 않는 것이다. - 학습을 설명할 수 없다. 문장 조작의 과정보다 선행하는 기초적인 학습이 존재.
→ 결과 : (1) 문장적, 혹은 명제적 태도의 수준 저변에 있는 표상의 어떤 수준이 있다는 생각, (2) 언어하부적 요소(sublinguistic factor)들에 작용하는 학습동역학이 있다는 생각.
- 이에 대한 근거들
1) 인간이 아닌 동물들이 언어의 혜택없이도 모두들 정교한 인지 활동을 한다는 것.
2) 지식이 엄청나게 축적된 문장들이라고 할 경우 관련된 내용을 검색해 내는 데 심각한 문제가 따르게 된다. (인공지능에서의 "frame problem" : 수백만 개의 문장들 속에서 지금의 예측, 혹은 설명 문제와 유관한 것들을 1초 이하의 시간 안에 정확히 찾아내는 것이 어떻게 가능한가?)
3) 학습에 대한 설명 : 사실의 학습과 기교의 학습 간의 관련성을 전혀 발견할 수 없다. ← 이것은 그 자체로서 하나의 문제 : 왜냐하면 우리는 학습에 대한 통합된 설명을 요구하기 때문 - 이론 이해와 과학활동의 문제가 기교획득의 문제임. 문장들을 암기하기는 것만으로는 불충분. (용어들과 용어들의 특정한 형식화를 조작하는 것, 새 경우에 적용하는 것을 배워야 한다.)
4) 생물학적 연구와의 부조화 : 생물학적인 두뇌 구조의 이론과 그것이 주어진 표상들과 연산들을 수행하는 방식에 대해 전적으로 다르게 차별화. - 인간 두뇌의 기계적 구조에 의해 수행될 수 없는 표상처리과정은 인간의 인지적 활동에 대한 적절한 설명이 될 수 없다.
→ 두뇌는 거대한 병렬 연산처리 장치. 쟁점이 되는 고전적인 연산 과제 처리에는 미숙하다.
3. 기본적인 두뇌 신경망(Elementary brainlike networks)
신경망의 구조, 두뇌 세포의 구성과 이를 어떻게 모형화하는 방식, 그리고 신경망이 작동하는 방식에 대한 설명.
4. 두뇌 신경망에서의 표상과 학습
신경망에서 어떻게 학습이 진행되는 방식, 그리고 그에 대한 모형화. NETtalk의 성공 사례.
5. 두뇌와 같은 신경망체계의 몇가지 기능적 성질들
○ 신경망 이론의 부활 : 1) 주류 인공지능의 실패, 2) hidden units를 포함하는 다층구조 지각자의 학습 방법 발견. 3) 일반화된 델타규칙의 명시화(이 규칙으로 인해 비효율적인 local minima를 빠져나올 수 있게 됨) - 오차역전파(error back-propagation)에 의한 학습 : 인간의 학습과 유사.
- 지식과 이해에 대한 신경망적 사고방식은 문장중심적 입장에 의존하지 않는다. : 포괄적인 이론은 생물체의 시냅스 가중치 공간 속의 특정한 점일 것이다.
○ 가능한 반론 : 서로 다른 가중치 설정을 가진 체계가 유사하게 작동할 수 있다. 따라서 서로 다른 가중치의 체계를 같은 이론으로 간주하는 것이 될 것이다.
→ 답변 : 우리는 서로 다른 포괄 이론들이 단기적인 동일한 행태를 산출할 수 있음을 인정할 뿐.
○ 신경망적 입장이 두뇌에 대해서 제시할 수 있는 뛰어난 설명들
1) 관련사항 접근 속도 문제(speed-of-relevant-access problem) : 정보의 병렬처리와 신경망을 설정하는 가중치 연결에 저장되기 때문.
2) 사소한 손상에도 두뇌 기능이 유지되는 것 : 십만 단위의 시냅스에서 한두개의 손상은 영향을 거의 미치지 않고 상당한 손상도 분산되기만 하면 대부분의 기능을 유지할 수 있다.
○ 단순성(simplicity) : 두가지 문제 - 규정, 측정의 어려움, 이것이 인식론적인 장점인 까닭.
지금까지는 실용적이거나 미적인 장점으로 치부되어 왔지만. → 신경전산학적 관점으로
신경망의 대상구분의 정확성은 hidden unit의 기능과 관련되며, 최적의 hidden unit 양이 존재한다.
hidden unit이 너무 적으면 - 문제에 적합한 학습을 하는 것이 불가능.
hidden unit이 너무 많으면 - 훈련 집합 바깥에서의 입력 벡터들이 무관한 표상을 산출. 이 경우 표상들 간의 공통점이 얻어지지 않았으므로 임시적인 표(ad hoc look-up table)를 만들어 처리.
→ 이 문제를 해결하는 두가지 방법 : 1) 매우 많은 훈련 집합 제시 2) hidden unit을 줄이는 것.
○ 2) hidden unit을 hidden unit 벡터 공간에서의 단일한 구획을 찾을 수 있을 만큼 줄인다. - 최적화된 hidden unit을 가진 신경망은 때때로 즉각적으로 최상의 단순 "가설"을 산출한다.
∴ 단순성은 중요한 장점(virtue)이다. 하지만 이것 없이도 체계가 당장의 일을 할 수는 있다. - 이와 마찬가지로 단순한 가설들이 더 일반화를 잘한다.
6. 이러한 신경망의 두뇌 묘사는 얼마나 신뢰성있는가?
○ 모형들은 부정확한 측면들
1) 실제 두뇌에서는 하나의 뉴론의 축삭(axon)이 다음 층의 모든 축삭에 연결되는 것이 아니라 일부의 유관한 것에만 연결된다. 심각한 어려움은 아님.
2) 실제 축삭돌기들은 뉴론의 유형에 따라서 일괄적으로 억제적이거나 일괄적으로 활성적인 연결을 갖는다. - 활성적, 억제적 영향의 혼합은 이 모형이 성공적으로 작동하기 위해서 핵심적으로 중요한데 실제 두뇌에서는 이것을 발견할 수 없다.
3) 두뇌의 세포들은 같은 층 내에서 세포들 간의 수평적인 결합도 보여준다. 모형 속에는 없었던 것.
→ 2)와 3)은 서로 상쇄된다. : 활성화 뉴론이 매개뉴런(interneuron)들을 활성화-이것이 목표 뉴론을 억제 = 층 간의 수평적 결합을 많이 가져야 할 것이다.
○ 더 심각한 문제점 : 학습 알고리듬에 의해서 두뇌 신경망이 학습. (일반화된 델타 규칙에 따른 역전파)
이 절차는 다음 두가지를 필요로 한다. (1) 출력 층의 각 시냅스에 대한 부분적 결합들의 계산과 그 전 층에서의 각 시냅스에 대한 부분적인 오차수정 계산. (2) 이러한 수정 메시지가 신경망을 통해 유관한 시냅스 연결들로 거꾸로 인과적으로 전달되어 각 가중치들이 이에 따라 변환되는 방법.
컴퓨터 시뮬레이션 : 이와 같은 계산들이 신경망 외부에서 수행된다. 하지만 생물학적 두뇌에서는 그럴 수 없다.
○ 하드웨어 측면 : 역전파 절차가 두뇌의 주된 학습 기제라는 것을 지지하지 않는다.
1) 인식의 학습과정 : 실제 두뇌는 학습에 따라 반응 시간을 줄인다. ↔ 델타 규칙에서는 학습이 오차를 줄일 뿐 시간은 그대로이다.
2) 모형에서는 체계가 정답을 알고 있어야 학습이 가능 ↔ 실 생물은 완전한 정보를 갖지 못함. : 역전파에 의해 학습이 이루어지기 위해서는 수정 벡터가 산출되어야 하고 그러려면 정답이 있어야 한다.
※ 실제 뉴런 신경망들이 어떻게 적절한 가중치 설정을 산출하는가하는 것은 불투명하지만, 그것들이 다양한 인지 활동을 수행하는 방법은 제법 더 분명해졌다.
7. 전산학적 신경과학 : 인식론의 자연화(Computational neuroscience: the naturalization of epistemology)
○ 우리의 관찰판단(observation judgment)들이 이론 의존적(theory laden)인가? : 모든 인식활동이 이론의존적이다. ← 5장의 관점에서 인식을 이해한다면, 어떤 가중치(weight) 설정 없이는 어떤 인식적 활동도 생겨나지 않는다. ∴ 토대주의는 불가능하다.
가장 단순한 동물이나 어린 아기들도 이론을 가진 것으로 간주.
일반인과의 차이점 : 단지 그들이 가진 이론이 훨씬 단순하고 덜 조직화되었다는 것 뿐.
○ 최초의 입력 신호에 다양한 방식을 통한 개념화가 일어나며 상위 계층에서는 같은 유형의 과정이 반복된다. → 전산학적 신경과학의 입장에서 인지는 체계적으로 이론 의존적이다.
학습체계의 구조적인 일반 원칙들만이 태생적으로 구성, 나머지는 입력과 오차 산출에 의해서 제공(추측) : 시각체계의 엄청난 신경망 속의 이론체계(즉 10의 13제곱 가중치들)이 유전자 분자에 의해서 이루어진다고 보기는 어렵다.
○ 이미 친숙한 결론이지만, "관찰가능한 세계'를 유사하게 무한히 다양한 방식으로 이해할 수 있다는 것이 이 관점에서 직접적으로 추론된다. : 우리의 감각 공간이 불가피하게 설정해야 하는 분할구조라는 것이 없기 때문. 그것은 유관한 신경망이 어떻게 가르쳐지는가에 의존한다.
예) 특정 분야의 전문가들은 일반인들이 거의 지각할 수 없는 사실들을 지각하고 조작한다.
개념적 다양성이 가능한 정도 : 뉴론의 개수를( 10의 11 제곱 개) × 각각의 연결( 10의 3제곱 개) = 인간의 두뇌( 10의 14 제곱 개)각각의 가중치가 10개의 경우의 수를 갖는다면 결과적인 다양성은 10의 10 제곱의 14 제곱 개.
○ 소 결론 : 우리의 지각지식이 이론의존적이고 고도로 유연하다.
○ 쿤의 패러다임의 문제 (패러다임이 : 일단의 수학적, 개념적 도구적 자원들에 대한 전형적인 적용방식이며 유사한 다른 사례들을 갖는 것)
- 쿤에 대한 기존 비판 : 1)패러다임의 개념이 애매하다는 점, 2)패러다임의 추가적인 적용을 구획짓는 유사성의 기준이 분명하지 않다는 점. → 신경전산학적 접근법에서 쿤의 입장을 뒷받침할 수 있다.
두뇌의 패러다임 구축 : 두뇌가 잘 구조화된 유사 공간을 산출하는 가중치 설정 안에 확립되는 것이며 이 때 이 유사 공간의 중심적 하이퍼볼륨이 범형적(prototypical) 적용을 위치짓는다.
○ 기존 패러다임 변화와 대체에 대한 전형적인 저항 : 점진적인 하강에서 체계가 순수히 국소적인 최저점(local minimum)에 의해서 방해받는 것. (국소 최저점 : 오차가 0이 아니지만 체계의 작은 변화도 더 큰 오차를 산출하게 되는 지점) 무작위적인 잡음(random noise)이 필요하기도 하고 긴 시간이 요구되기도 하다.
→ 체계는 고도로 편향된 훈련 집합에 의해서 희생될 수도 있다. : 일단 체계가 임시적으로 성공적인 가중치 설정에 도달하고 나면 더 많은 오차가 큰 예들이 나타나더라도 설정이 쉽게 변경되지 않는다.
○ 설명적인 단일성(explanatory unity) : 어떤 개념적 단일성을 획득한다는 것은, 완전히 구분되는 공간들 이해 공간 속에 있던 변형들을 통합하고 대치할 수 있는 단일한 유사 공간을 산출할 수 있다는 것. 이것이 기존의 두 현상 집단 간에 놓여있던 동일성을 효과적으로 파악하는 것.
○ 단순성(simplicity) : 지금까지의 예들 이상의 사례들에 대한 더 나은 일반화와 같은 것. 이 결과는 숨은 단위(hidden units)들을 줄이면서 체계로 하여금 남아있는 표상적 자원들을 더 효과적으로 사용하도록 강요하는 것.
단순성 획득 : 체계가 활성화 벡터 공간을, 오차 메시지를 최소한으로 여전히 줄이면서도, 구분되는 하위 유사성 공간들(similarity subspaces)을 최소한의 숫자로 구획함에 따라서 얻어진다.
○ 하나의 "이론"으로 모든 것을 설명하는 것(전통적 입장), "패러다임"을 새로운 영역에 확장하고 분명화하는 것(쿤), 주어진 "논변의 양식(pattern of argument)"의 적용 범위를 더 확장하는 것(Kitcher), 이 모두가 숨은 단위 활성화 벡터 공간의 구조를 진화시키는 관점에서 생각함으로서 통합할 수 있다. 즉 모든 입력 벡터들을 단일 유사 공간 속에서 표상하는 방향으로 생각할 수 있다.
○ 이상의 입장은 과학 철학 내에서 실재론적 입장에 수렴하는 것인가? 그 반대일 수도 있다.
1) 우리가 상대적으로 국소 오차 최저점에 매달려 있지 않다는 보장이 없고, 2) 오차 메시지를 0으로 만드는 가중치 설정이 가능하다는 보장도 없다. 인간의 신경망에는 독특한 전체적인 오차 최소점이 있을지 모르지만 현재 우리 체계 내에서는 항상 그 최소점이 0이 아니었다. 3) 오직 하나의 포괄적 최저점이 있다는 보장도 없다.
→ 진리탐구의 수단뿐만 아니라 목적인 독특한 진리 자체를 무의미하게 만든다. 다원화된 형태의 실용주의만이 남을지도 모른다.
8. 결론적 언급들
이 논문은 인식론의 고전적인 관점의 문제에서 출발해서 나름의 대안을 제시하였다.
○ 꼭 언급할 만한 것은, 신경망이 확실히 굉장히 효율적으로 학습할 수 있다는 것이다 : 실험적인 성공
(예를 들어서 유사성의 인식과 복잡한 운동의 실시간 조절 등)
○ 학습과 인지 활동은 모든 두뇌에서 비슷하므로 이것은 전체 동물에도 적용된다. → 인지 이론이 신경과학과 깊이 관련되며 이에 따라서 신경과학에 의해 경험적인 구속을 받게된다.
○ 유관한 정보를 어떻게 다룰 것인가 하는 오래된 문제 : 정보는 전체 신경망 속에 저장된다.
○ 언어를 이해하는 문제 : 쉽지는 않아도 출발점은 예측할 수 있다. 즉 기존 언어의 구조를 조작할 수 있는 신경망의 능력을 탐구하는 것. (구문론, 의미론, 화용론 등)
○ 인식론의 전통적인 쟁점들에 대해서 더 자연적인 관점을 선택할 때 주어질 체계적인 통찰들 : 이것이 곧 정상적인 인식론이 "자연화된다"거나 순수히 기술적인 과학이론의 틀 안에서 재구축될 수 있다는 것을 의미하지는 않는다. 정당화된 믿음과 합리성과 같은 개념은 비규범적 범주들에 의해서 적절히 정의될 수 없을 것이다. → 여기서 거부되어야 하는 것 : 단지 인식론의 자율성뿐.
자율성이 거부되어야 하는 까닭 : 규범적 쟁점들이 사실적 문제에서 결코 독립될 수는 없기 때문.
발제자의 문제 제기
이해의 본성과 이해의 대상인 이론의 본성을 동일시할 수 있는가?
인식론과 두뇌 이해, 혹은 심리철학은 생물학이나 생물학적인 전제로 수렴하는가?
