뇌와 인공지능, 서로 다른 학습의 길을 걷다

눈을 감고 상상해 보세요. 아기가 처음 '강아지'라는 단어를 배우는 장면이 떠오릅니다. 엄마가 복슬복슬한 생명체를 가리키며 "이게 강아지야"라고 알려주면, 아이는 몇 번의 경험만으로도 수많은 종류의 강아지를 척척 알아보게 됩니다. 반면 인공지능은 수천 장의 사진과 정답 데이터를 줘야 겨우 강아지를 인식하죠. 왜 이런 차이가 생기는 걸까요? 그 비밀은 바로 '학습 방식'에 있습니다. 인공지능은 수학적 최적화인 역전파로 배우지만, 인간의 뇌는 완전히 다른 원리로 세상을 이해한다는 사실을 밝혀낸 연구가 있습니다. 오늘 소개할 논문은 바로 그 차이를 시각 처리 과정에서 실험적으로 입증한 아주 흥미로운 이야기예요.

역전파와 뇌의 학습 방식

인공지능이 이미지를 인식할 때 사용하는 대표적인 학습법은 '역전파(Backpropagation)'입니다. 간단히 말하면, AI가 고양이 사진을 보고 "강아지"라고 오답을 내면, 그 오차를 계산해서 네트워크의 각 층으로 거꾸로 흘려보내며 연결 강도를 조금씩 수정하는 거예요. 마치 요리할 때 "간이 싱거우면 소금을 조금 더 넣어야지" 하고 재료의 비율을 뒤에서부터 조정하는 것과 비슷합니다. 이런 방식은 수학적으로 깔끔하고, 대규모 데이터에서는 놀라운 성능을 발휘하죠.

그렇다면 우리 뇌도 역전파와 똑같이 학습할까요? 한동안 많은 과학자들은 뇌의 계층 구조를 생각하면 그럴 가능성이 높다고 추측했습니다. 하지만 이번 연구는 그 가설에 강력한 의문을 제기합니다. 인간의 뇌에는 시각 정보가 들어오면 V1, V2 같은 초기 단계에서는 단순한 선이나 방향을 감지하고, 점차 V4, 측두엽으로 올라갈수록 복잡한 형태나 얼굴, 사물의 의미까지 처리하는 계층적 구조가 있어요. 그런데 이 계층을 따라 학습할 때, AI처럼 수학적으로 정밀한 오차 신호를 앞 단계로 보내기보다는, 예측과 주의, 감정 등이 섞인 훨씬 유기적인 방식을 사용할 가능성이 크다는 뜻입니다. 쉽게 말해, 뇌는 GPS처럼 정확히 길을 교정하기보다, 산을 오르는 등산가처럼 전체 지형을 느끼며 나아가는 쪽에 가깝다고 할 수 있겠네요.

주요 발견

연구팀은 이 차이를 검증하기 위해 fMRI(기능적 자기공명영상)와 MEG(뇌자도) 데이터를 총동원했습니다. 참고로 fMRI는 뇌 속 혈류 변화를 측정해 공간적으로 어느 부위가 활성화되는지 세밀하게 보여주고, MEG는 신경세포의 전기적 활동을 측정해 1밀리초 단위의 빠른 시간 흐름을 포착합니다. 두 기술을 함께 쓰면 뇌의 '언제, 어디서'를 완벽에 가깝게 파악할 수 있어요. 연구에서는 사람들에게 다양한 자연 장면 이미지를 보여주면서 뇌의 시각 피질 전체에서 일어나는 반응을 정밀하게 기록했습니다. 한편으로는 동일한 이미지를 최신 인공신경망에도 입력하고, 망의 각 층에서 발생하는 그래디언트(Gradient), 즉 오차 역전파 신호를 따로 수집했습니다. 그리고 이 두 시스템의 신호가 얼마나 유사한지 수학적으로 비교한 거죠.

그 결과, 정말 놀라운 패턴이 드러났습니다. 시각 정보가 처음 도착하는 저차원 영역(일차 시각 피질)에서는 AI의 그래디언트와 뇌의 반응이 상당히 일치했어요. 마치 두 시스템 모두 "여기 대각선 방향이 있네", "이 부분은 파란색이야" 같은 기초 정보를 비슷하게 받아들이는 듯했죠. 하지만 시각 정보가 점점 고차원 영역으로 전달되어 사물의 정체나 의미를 파악할수록, AI의 그래디언트는 뇌의 반응과 점점 더 멀어졌습니다. 특히 얼굴이나 장면을 인식하는 고차원 시각 피질(high-level visual cortex)에서는 두 신호가 아예 다른 이야기를 하고 있었어요. 이 말은 곧, 아무리 성능 좋은 딥러닝 모델이라도 인간 뇌가 고차원 정보를 처리하는 원리와는 동떨어져 있다는 뜻입니다.

AI의 학습 방법 vs 뇌의 처리 방식

AI의 그래디언트가 뇌의 저차원 영역 반응을 예측하는 데 효과적이었던 반면, 고차원 인지 처리 과정은 제대로 반영하지 못했다는 이번 발견은 꽤 중요한 메시지를 던집니다. 예컨대 '컵'이라는 사물을 떠올려 보세요. AI는 컵의 둥근 테두리나 손잡이의 곡선을 감지한 후, "컵일 확률 98%"라는 결론에 도달하기까지 오차를 역전파로 줄여 나갑니다. 그러나 우리 뇌는 컵을 볼 때, 단순히 형태를 분류하는 것을 넘어 "아까 마셨던 따뜻한 차", "이 컵은 선물 받은 거야" 같은 경험과 감정까지 함께 활성화됩니다. 뇌는 단순한 오류 수정을 뛰어넘어, 맥락과 기억, 예측을 종합하는 통합적 처리를 수행하는 셈이에요.

이를 일상에 빗대면 이렇습니다. 역전파는 마치 자동차 내비게이션이 현재 도로에서 벗어나면 "100m 앞에서 유턴하세요"라고 정확히 수정해 주는 방식이라면, 뇌의 학습은 같은 도로를 달리더라도 주변 경치를 감상하고, 이전에 와봤던 길의 기억을 떠올리며 "아, 이 길은 결국 저 동네로 가는 길이니까 그냥 쭉 가도 되겠다"라고 유연하게 판단하는 것과 비슷합니다. 이런 유연성이 바로 우리 뇌의 창의성과 직관의 원천인지도 모릅니다.

이러한 차이는 AI 연구자들에게도 커다란 숙제를 남깁니다. 지금처럼 역전파로만 학습하는 모델은, 아무리 대규모 데이터를 먹어도 인간 뇌의 통찰력이나 문맥 이해를 완전히 따라잡기 어려울 가능성이 있습니다. 앞으로 뇌의 신경 회로를 더 깊이 모방한 새로운 학습 알고리즘(예: 스파이크 타이밍 기반 학습, 예측 코딩 등)이 필요해질 거예요. 동시에 뇌과학자들도 이 연구를 통해, 인공신경망의 그래디언트를 무작정 뇌의 신경 신호 모델로 사용해서는 안 된다는 점을 재확인할 수 있었습니다.

LINK BAND로 직접 확인해보세요

여기까지 읽다 보면 "그럼 내 뇌는 어떻게 배우고 있을까?"가 궁금해지지 않나요? 이제 그 답을 조금은 경험할 수 있습니다. LINK BAND 같은 웨어러블 뇌파 측정 기기를 사용하면, 명상할 때, 집중할 때, 혹은 스트레스를 받을 때 나의 뇌가 어떤 리듬을 보이는지 실시간으로 들여다볼 수 있어요. 연구 결과처럼 우리의 뇌는 AI와는 완전히 다른 독창적이고 유연한 처리 방식으로 매 순간 세상을 해석하고 있답니다. 꾸준한 명상이나 집중 훈련을 통해 나만의 뇌 활동을 관찰하고 이해하다 보면, 인공지능과는 또 다른 차원의 '인간다운 학습'의 비밀을 조금씩 풀어갈 수 있을 거예요. 여러분의 뇌 속 여행, 지금 시작해 보세요.