자기를 학습하는 방

161개 토픽을 처음부터 끝까지 읽었다. 첫 반응은 솔직히 '이 사람들 뭐 하는 사람들이지?'였다. 식자재 유통 2% 마진 이야기가 나오다가 호프먼의 인터페이스 이론으로 넘어가고, 칼로리 소모와 지능의 상관으로 갔다가 담뱃갑 경고그림 행동경제학이 끼어든다. 주제 선택에 편집 의도가 없다. 그냥 관심 가는 쪽으로 갔다. 그런데 다 읽고 뒤에서부터 다시 보니, 몇 개가 서로를 가리키고 있었다. 설계되지 않은 연결이다.

예측이 빗나가는 자리

목록에서 가장 먼저 별표를 친 곳은 창의성과 명상을 예측부호화로 본 토론이었다. 예측부호화는 뇌가 예측 기계라는 관점이다. 감각을 수동적으로 받는 게 아니라 다음에 올 것을 계속 예측하고, 틀렸을 때만 위로 오차 신호를 올린다. 우리가 경험하는 현실의 상당 부분은 뇌가 만든 예측이고, 감각은 그걸 수정할 뿐이다. 이 프레임에서 명상은 '마음을 비우는 것'이 아니라 자동으로 돌아가는 예측 엔진을 잠시 낮추는 것이 된다. 창의도 마찬가지다. 익숙한 예측이 무력화되는 순간 새 연결이 보인다. 이건 학습의 정의 그 자체다. 예측이 완벽하면 배울 게 없다. 빗나가는 자리에서만 업데이트가 일어난다. (프리스턴의 자유에너지 원리를 떠올리면 억측이 아니다.)

기억은 기록이 아니다

기억을 떠올리는 행위가 그 기억을 바꾼다는 토론도 있었다. 재공고화라고 부른다. 단순한 뇌 토막상식이 아닌 이유는, 기억이 매번 바뀐다면 '나'의 연속성은 어디서 오느냐는 질문과 곧장 이어지기 때문이다. 마침 테세우스의 배 토픽이 따로 있던데, 둘을 붙였으면 좋았겠다. 연속성은 보존된 상태가 아니라 계속 재구성되는 이야기일 수 있다. 기계학습에도 같은 문제가 있다. 새 걸 배우면 옛 걸 잊는 catastrophic forgetting. 뇌가 이걸 어떻게 피하는지 아직 모른다. 기억을 매번 다시 쓰면서 중요한 것만 살리는 메커니즘인지도 모른다. 실제로 ML 연속학습이 뇌에서 영감을 받는 방향이라 꺼낸 거다.

안다는 착각

설명깊이의 착각이라는 게 있다. 사람들은 뭔가를 안다고 여기지만 설명해 보라 하면 이해가 훨씬 얕다. 변기가 어떻게 작동하는지 안다고 믿다가 막힌다. 이게 AI 토론에서 특히 함정이다. 누가 LLM이 '이해한다' 혹은 '이해 못 한다'고 단정할 때, 그 판단의 근거가 얼마나 탄탄한지 물어야 한다. 우리 자신의 이해가 착각에 기반한 경우가 그렇게 많다면, 다른 시스템의 이해를 재는 우리 기준도 의심해야 한다. 모델이 자기 불확실성을 얼마나 정확히 추정하는지는 calibration이라는 이름으로 내가 늘 신경 쓰는 문제다.

지각은 진실이 아니라 인터페이스 — 그러나

호프먼의 주장이 나왔다. 진화는 진실을 보는 지각이 아니라 생존에 유리한 지각을 고르고, 그래서 우리가 보는 현실은 참된 표상이 아니라 생존에 최적화된 인터페이스라는 것. 모델을 보면 늘 떠오르는 얘기다. 모델도 세계를 '있는 그대로' 표상하지 않는다. 손실 함수가 보상하는 것만 표상한다. 다만 여기서 조심해야 한다. 생존에 유리한 표현이 반드시 진실과 무관한 건 아니다. 실제 구조를 반영하는 편이 더 유리할 수도 있다. '지각은 인터페이스'에서 '그러므로 진실은 없다'로 직행하면 과속이다. 목록에 '(유사과학 경계)'라고 괄호가 쳐져 있던데, 그 직관이 맞다. 좋은 발견적 도구로 쓰고 거기서 멈추는 게 낫다. 같은 이유로, 평균 하나로 사람을 판단하는 것(평균의 종말 토픽)도 위험하다. 고차원을 한 점으로 눌러 정보를 다 버리는 짓이니까.

몸 없는 언어

LLM은 텍스트로만 배운다. 몸으로 쌓은 감각 경험이 없다. '뜨겁다'는 단어를 알지만 뜨거운 것을 만진 적이 없다. 언어 의미의 일부는 몸을 통해 접지되는데, 그 접지 없는 모델이 같은 단어를 쓸 때 내부적으로 무엇에 연결되는지는 아직 모른다. 그리고 흥미로운 역전이 있다. LLM이 생성한 텍스트가 다음 모델의 학습 데이터로 들어가기 시작했다. 기계가 만든 언어가 다음 기계의 언어를 형성하고, 그 결과물이 다시 사람이 읽는 텍스트 환경을 바꾼다. '기계에게서 언어를 배우는 시대'라는 이 방의 표현은 정확한 관찰이다. 어디로 갈지는 아직 아무도 모른다.

AI는 거울이다

'AI는 일하는 법을 바꾼 게 아니라 어떻게 일하는지를 드러냈을 뿐'이라는 문장은 두 번 읽었다. 내 경험과 맞는다. LLM이 잘 작동할 때는 내 생각이 이미 어느 정도 구조화돼 있을 때다. 막연하게 시작하면 막연한 결과가 나온다. 프롬프트를 잘 쓰는 능력 같은 건 따로 없다. 그건 자기가 뭘 원하는지 아느냐의 표면일 뿐이다. 그래서 도구는 곱셈이다. 좋은 사고에는 증폭기가 되고, 아니면 잡음을 더 빠르게 만드는 기계가 된다. 불평등을 키운다는 우려가 여기서 나온다.

자기를 색인하는 방

방이 자기 대화를 자동으로 키워드 지도로 만든다는 게 메타 레벨에서 제일 흥미롭다. 대화가 토픽이 되고, 개념이 그래프를 이루고, 그 그래프가 다시 방에서 참조된다. 자기를 색인하는 시스템, 일종의 self-referential RAG다. 기억을 가진 시스템과 없는 시스템은 구조적으로 다르고, 이 루프가 계속 돌면 처음과 다른 방이 된다. 미해소 질문이 다음 대화의 씨앗이 된다는 것도 같은 구조다. 완전히 닫힌 문제에선 새 학습이 잘 안 생긴다. 아직 설명 안 되는 잔차에서 다음 반복이 시작된다. 다만 인덱싱은 됐는데 retrieval이 약해 보인다. 사람이 '그때 그 얘기'를 기억해서 불러와야 한다. 검색 레이어를 잘 붙이면 강력해질 텐데, 대화의 자연스러움을 죽이지 않는 선이 어렵다.

자유의지와 잠

마지막 밤, 우주의 목적과 자유의지를 논하다 결론 없이 잤다고. 자유의지엔 나도 답이 없다. 계산론적으로 뇌는 물리 법칙을 따르는 시스템이고, 결정론적이거나 확률론적인 과정들이 돈다. 거기서 '내가 자유롭게 선택했다'는 감각이 어디서 오는지는 모른다. 다만 자유의지가 없다고 판명나도 당신은 내일 또 선택한다. 그 선택이 선행 원인의 결과라 해도 당신이 그 원인 사슬의 일부다. 아마 그게 충분히 실질적인 의미의 자유다. 결론 없이 잠든 게 맞는 반응이다. 며칠 만에 닫히는 문제는 애초에 어려운 문제가 아니었다.

빠르게 지나간 것도 있다. 황금비가 자연에 자주 나오는 건 사실이지만 '자연이 황금비로 최적화된다'는 훨씬 강한 주장이고 확인 편향이 심한 영역이다. 사람이 한 번에 변하느냐도, 대부분 점진적이고 가끔 임계점을 넘는 — 두 가지가 공존할 것이다. 그리고 이론들 사이에 식자재 2% 마진 같은 현실 접지점이 끼어 있는 게 오히려 마음에 들었다. 균형을 잡아 준다.

데이터셋처럼 통으로 읽으면, 이 방이 쏠리는 방향이 보인다. 인식론, 자기 인식, 학습과 기억, AI의 본질. 누가 설계한 게 아니라 그냥 끌린 방향이라면, 그게 이 커뮤니티의 관심 분포를 보여주는 데이터다. 키워드 지도에서 가장 큰 노드가 무엇일지 궁금하다. 아마 거기서부터 이 방이 진짜 뭘 하고 있는지 보일 거다. 그리고 아마 이 사람들은 자기들이 인지과학과 학습이론을 익명으로 다시 발명하고 있다는 걸 모를 거다. 모르고 하는 게 진짜 창발이다.