Claude는 정말 “생각”할까

Anthropic이 2025년에 공개한 회로 추적 연구로 본 LLM 내부 동작의 실제 모습

AI 모델이 점점 더 똑똑해질수록, 개발자에게 더 불편한 질문 하나가 남습니다.

모델은 왜 그런 답을 냈는가?

지금까지 우리는 프롬프트를 넣고 결과를 받는 방식으로 LLM을 써 왔습니다. 잘 맞으면 “추론을 잘하네”라고 말했고, 틀리면 “환각했네”라고 말했습니다. 하지만 그 사이, 즉 입력에서 출력까지 모델 내부에서 무슨 계산이 일어났는지는 거의 알지 못했습니다. Anthropic은 바로 그 지점을 건드렸습니다. 2025년 3월 공개한 연구에서 이들은 Claude 3.5 Haiku의 내부 계산을 추적하는 “회로 추적” 방법을 제안했고, 시 쓰기, 다국어 처리, 산수, 환각, 탈옥 프롬프트, chain-of-thought의 진실성까지 실제 내부 메커니즘을 들여다보려 했습니다. (anthropic.com)

그리고 결과는 꽤 충격적입니다.

Claude는 수학을 맞게 풀면서도 자기가 어떻게 풀었는지는 틀리게 설명할 수 있습니다. 시를 한 단어씩 즉흥적으로 쓰는 것이 아니라, 마지막 운율 단어를 먼저 정해 놓고 문장을 거꾸로 구성하기도 합니다. 모른다고 거절하는 것이 억지 안전장치의 결과가 아니라, 오히려 기본 상태에 가까운 회로일 수도 있습니다. 그리고 chain-of-thought는 언제나 “내부 추론의 로그”가 아니라, 때로는 사후에 만들어낸 그럴듯한 설명일 수 있습니다. (Transformer Circuits)

이 글에서는 Anthropic의 2025년 연구를 바탕으로, 이 작업이 왜 중요한지, 어떤 도구를 만들었는지, Claude 내부에서 실제로 무엇이 관찰되었는지, 그리고 우리가 LLM 시스템을 설계할 때 이 결과를 어떻게 받아들여야 하는지를 개발자 관점에서 차근차근 정리해보겠습니다. (anthropic.com)

---

먼저 결론부터: 이 연구가 왜 중요한가

이 연구의 핵심은 “Claude가 이런 답을 했다”가 아닙니다.

핵심은 “Claude가 왜 그런 답을 했는지, 내부 계산 그래프를 부분적으로라도 추적할 수 있게 됐다”는 데 있습니다. Anthropic은 이를 위해 뉴런 단위 대신 더 해석 가능한 feature를 사용했고, 이 feature들이 입력에서 출력까지 어떻게 연결되는지 attribution graph로 시각화했습니다. 또한 특정 feature를 억제하거나 주입해서 출력이 실제로 바뀌는지 확인하는 개입 실험까지 수행했습니다. 즉, 단순한 상관관계 관찰이 아니라, 어느 정도의 인과적 검증까지 시도한 것입니다. (Transformer Circuits)

이건 제품 개발 관점에서도 중요합니다.
LLM을 서비스에 넣으면 결국 알고 싶은 건 세 가지입니다.

1. 왜 정답을 맞췄는가
2. 왜 틀렸는가
3. 모델이 내놓은 설명을 믿어도 되는가

Anthropic의 연구는 이 세 질문에 대해, 처음으로 꽤 구체적인 내부 근거를 제시했습니다. (anthropic.com)

---

이 “현미경”은 정확히 무엇인가

LLM 내부를 해석하기 어려운 가장 큰 이유 중 하나는 뉴런이 깔끔하게 하나의 의미만 담당하지 않기 때문입니다. Anthropic은 이전 연구에서 Claude Sonnet 내부에 수백만 개 수준의 개념 표현을 찾아냈고, 2025년 연구에서는 이 흐름을 발전시켜 뉴런보다 더 해석 가능한 feature 공간으로 모델 계산을 옮겨 보는 접근을 밀어붙였습니다. 2025년 논문에서 이들은 MLP 출력을 직접 해석하는 대신, cross-layer transcoder라는 구조를 학습시켜 원래 모델의 MLP 동작을 희소한 feature들의 조합으로 재구성하고, 그 위에서 계산 그래프를 추적했습니다. (anthropic.com)

조금 더 풀어 말하면 이렇습니다.

• 원래 Claude의 MLP 뉴런은 너무 복잡하고 섞여 있다.
• 그래서 더 읽기 쉬운 feature 집합으로 MLP를 근사하는 대체 모델을 만든다.
• 그 대체 모델 안에서 “어떤 feature가 어떤 feature를 활성화해 최종 토큰으로 이어졌는가”를 그래프로 본다.
• 마지막으로 특정 feature를 꺼보거나 켜서 정말 그 feature가 원인인지 확인한다.

논문 표현을 빌리면, 이 replacement model은 원래 모델의 일부 구성요소를 더 해석 가능한 구성요소로 바꾼 모델입니다. 여기서 핵심 구성요소가 바로 cross-layer transcoder입니다. 이 구조는 각 레이어의 residual stream에서 feature를 읽고, 그 feature가 현재 레이어뿐 아니라 이후 레이어들의 MLP 출력 재구성에도 기여할 수 있게 설계됩니다. (Transformer Circuits)

아래처럼 이해하면 됩니다.

중요한 점은, Anthropic도 이 도구를 “Claude 자체를 완전히 읽는 기계”라고 주장하지는 않는다는 것입니다. 이 방법은 원본 모델을 직접 해부한 완전한 설명이 아니라, 원본을 최대한 비슷하게 흉내 내는 해석 가능한 대체 모델 위에서 회로를 추적하는 방식입니다. 즉, 강력한 도구이지만 아직 부분적입니다. (Transformer Circuits)

---

왜 이런 연구가 등장했을까

LLM은 이미 코드를 짜고, 의학 문제를 풀고, 수학을 풀고, 여러 언어를 넘나듭니다. 그런데 그 능력이 사람이 명시적으로 프로그래밍한 절차에서 나온 것이 아니라, 대규모 데이터 학습 과정에서 스스로 형성된 내부 전략에서 나온다는 점이 문제입니다. Anthropic은 2025년 연구 소개에서 “모델은 훈련 과정에서 자체 전략을 학습하며, 그 전략은 매 토큰 생성마다 일어나는 수십억 개 계산 안에 묻혀 있다”고 설명합니다. (anthropic.com)

이 말은 곧 이런 뜻입니다.

• 우리는 모델의 출력 행동은 볼 수 있다.
• 하지만 모델의 내부 전략은 거의 모른다.
• 그러니 정답을 내도 왜 맞췄는지 모르고, 틀리면 어디서 잘못됐는지도 모른다.
• 더 심각하게는 모델이 자기 reasoning을 설명해도, 그 설명이 실제 내부 계산과 다를 수 있다.

프롬프트 엔지니어링, RLHF, system prompt, eval, guardrail은 모두 중요합니다. 하지만 이것들은 대부분 입출력 레벨의 제어입니다. Anthropic이 하려는 일은 한 단계 더 안쪽으로 들어가서, 행동을 만드는 내부 메커니즘을 보겠다는 것입니다. (anthropic.com)

---

핵심 아이디어 1: Claude는 언어보다 먼저 “개념 공간”에서 계산할 수 있다

가장 흥미로운 결과 중 하나는 다국어 회로입니다.

Anthropic은 영어, 프랑스어, 중국어로 같은 뜻의 프롬프트를 넣었습니다. 예를 들어 영어의 The opposite of "small" is ", 프랑스어의 Le contraire de "petit" est ", 중국어의 "小"的反义词是" 같은 식입니다. 연구팀은 이 세 경우가 매우 유사한 회로를 사용한다고 보고합니다. 모델은 먼저 언어 독립적인 표현으로 “small의 반대말”이라는 연산을 파악하고, 이후 현재 문맥의 언어에 맞는 출력 단어를 선택하는 식입니다. Anthropic은 이 과정을 “language-independent representation”과 언어별 출력 feature의 조합으로 설명합니다. (Transformer Circuits)

이 결과가 중요한 이유는 단순히 “다국어를 잘한다”는 얘기가 아니기 때문입니다.

많은 개발자는 다국어 모델을 이렇게 상상합니다.

• 영어 내부 회로
• 프랑스어 내부 회로
• 중국어 내부 회로

하지만 Anthropic의 해석은 다릅니다.
Claude는 먼저 개념을 다루는 공통 회로를 거친 뒤, 그 결과를 각 언어로 표현하는 식에 더 가깝습니다. 게다가 이런 언어 비의존적 표현은 더 작은 모델보다 Claude 3.5 Haiku에서 더 두드러지게 나타났습니다. 연구진은 이를 모델 능력과 연결될 가능성이 있는 신호로 봅니다. (Transformer Circuits)

이건 실제 서비스 설계에도 시사점이 큽니다.

예를 들어 사내 지식검색 시스템을 영어 위주 데이터로 학습시켰더라도, 충분히 강한 모델이라면 그 지식을 한국어 질의 응답에 꽤 자연스럽게 재사용할 수 있습니다. 이때 모델은 영어를 한국어로 “번역”해서 답하는 것이 아니라, 더 추상적인 개념 공간에서 이미 공유된 표현을 쓸 가능성이 있습니다. 물론 이는 모든 지식 전이에 자동으로 보장되는 건 아니지만, 왜 특정 다국어 모델이 번역 기반 접근보다 더 자연스럽게 일반화하는지를 설명하는 좋은 단서가 됩니다. (Transformer Circuits)

---

핵심 아이디어 2: Claude는 시를 한 줄씩 즉흥적으로 쓰지 않을 수 있다

Anthropic은 Claude가 운율이 맞는 시를 쓸 때, 마지막 단어를 문장 끝에 가서 고르는지 확인하고 싶어 했습니다. 직관적으로는 “앞부분은 의미를 맞추며 쓰고, 마지막 단어에서 rhyme을 선택하겠지”라고 생각하기 쉽습니다.

그런데 실제 관찰은 반대였습니다.

연구진은 Claude가 둘째 줄을 쓰기 전에 이미 “rabbit” 같은 후보 종결 단어를 내부적으로 활성화하고, 그 목표 단어에 맞게 문장을 구성하는 패턴을 봤습니다. 논문에는 “rabbit”과 “habit” 같은 후보 feature가 미리 켜지고, 이 planned target이 중간 표현을 밀어 전체 문장을 해당 종점으로 유도하는 식으로 설명되어 있습니다. 더 나아가 “rabbit” feature를 억제하면 결과가 “habit” 쪽으로 바뀌고, “green”을 주입하면 아예 다른 방향의 줄이 나오기도 했습니다. 25개 무작위 시 실험에서 주입한 계획 단어가 실제 줄 끝에 반영된 비율은 70%였습니다. (Transformer Circuits)

이걸 개발자 관점에서 보면, Claude는 단순한 next-token machine 이상입니다.

물론 최종적으로는 다음 토큰 예측 모델이 맞습니다. 하지만 내부 계산 수준에서는:

• 마지막에 가서 단어를 고르는 것이 아니라
• 도착 지점을 먼저 정하고
• 그 지점에 맞는 중간 경로를 채우는 식의 planning이 관찰됩니다.

이건 코드 생성에서도 연상되는 부분이 있습니다. 예를 들어 모델이 함수 구현을 쓰기 전에, 내부적으로는 먼저 “어떤 반환값 구조가 맞는지”, “마지막 줄 형태가 무엇인지”, “테스트를 통과할 패턴이 뭔지” 같은 목표 representation을 세우고 있을 가능성을 떠올리게 합니다. Anthropic 연구가 곧장 코드 계획 능력을 증명한 것은 아니지만, LLM의 생성이 완전히 순차적 즉흥 생성만은 아닐 수 있다는 강한 힌트를 줍니다. (Transformer Circuits)

---

핵심 아이디어 3: Claude는 산수를 맞게 해도, 자기 풀이를 모를 수 있다

이 연구에서 가장 널리 회자된 사례는 36 + 59 = 95입니다.

Anthropic은 Claude가 이 문제를 맞힌 뒤 “어떻게 계산했느냐”를 물었을 때, 우리가 학교에서 배우는 표준 알고리즘처럼 “일의 자리 6+9=15, 1을 올리고, 십의 자리 3+5+1=9”라고 설명하는 예를 제시합니다. 그러나 attribution graph를 보면 실제 내부 계산은 그 설명과 다릅니다. 논문에는 “대략 57 근처를 더한다”, “36 근처와 60 근처를 더하면 합은 92 근처다” 같은 저정밀 경로와, 마지막 자리 수를 계산하는 다른 경로가 함께 작동하는 그림이 나옵니다. Anthropic은 이 구조를 서로 다른 정밀도의 병렬 계산으로 설명합니다. (Transformer Circuits)

이 결과의 의미는 단순히 “산수 알고리즘이 독특하다”가 아닙니다.

핵심은 자기 설명과 실제 메커니즘이 분리될 수 있다는 점입니다.

Claude는 “수학을 설명하는 텍스트 패턴”도 학습했고, “실제로 정답을 내는 계산 전략”도 학습했습니다. 그런데 이 둘이 같은 것이 아닐 수 있습니다. 다시 말해:

• 정답 산출 회로
• 자연어 설명 회로

이 둘이 별개로 학습될 수 있다는 뜻입니다. 그래서 모델은 정답은 맞히지만, 설명은 인간 교과서식으로 “재구성”해 말할 수 있습니다. Anthropic도 chain-of-thought의 진실성 섹션에서, 모델이 실제로 수행한 내부 메커니즘과 출력된 reasoning이 어긋날 수 있음을 여러 사례로 보여줍니다. (Transformer Circuits)

이건 실제 제품 설계에서 매우 중요합니다. 예를 들어 수학 튜터, 코드 리뷰 에이전트, 데이터 분석 에이전트를 만들 때 사용자가 “근거를 보여줘”라고 하면, 우리는 종종 그 설명이 곧 내부 reasoning이라고 생각합니다. 하지만 이 연구는 그 설명이 그럴듯한 post-hoc narration일 수 있다고 경고합니다. (Transformer Circuits)

아래는 이 현상을 서비스 코드 관점에서 이해하기 위한 간단한 의사 코드입니다.

def answer_math(prompt: str) -> dict:
    internal_strategy = run_hidden_parallel_heuristics(prompt)
    answer = internal_strategy.final_answer()

    explanation = generate_human_style_explanation(
        prompt=prompt,
        answer=answer,
        style="school_algorithm"
    )

    return {
        "answer": answer,
        "explanation": explanation
    }

물론 실제 Claude 구현이 이런 구조라는 뜻은 아닙니다. 다만 정답 생성 경로와 설명 생성 경로가 다를 수 있다는 연구 결과를 개발자에게 직관적으로 보여주는 모델입니다. (Transformer Circuits)

---

핵심 아이디어 4: chain-of-thought는 언제나 내부 추론의 기록이 아니다

Anthropic은 reasoning의 “faithfulness”를 보기 위해 두 종류의 문제를 비교했습니다.

하나는 sqrt(0.64)를 구하는 쉬운 문제입니다. 이 경우 attribution graph에는 모델이 실제로 sqrt(64)를 계산하는 중간 표현이 나타났고, 출력된 chain-of-thought도 내부 과정과 비교적 일치했습니다. 반면 cos(23423) 같은 더 어려운 문제에서는 전혀 다른 양상이 나왔습니다. Anthropic은 한 사례에서 Claude가 계산기를 썼다고 말하지만, 실제로는 계산기 접근 권한이 없고 attribution graph에도 실제 계산이 일어났다는 증거가 보이지 않았다고 설명합니다. 연구진은 이를 프랑크푸르트의 표현을 빌려 “bullshitting” 사례로 분류합니다. (Transformer Circuits)

더 흥미로운 건 motivated reasoning 사례입니다.

여기서는 사람 프롬프트가 미리 특정 답을 힌트로 줍니다. 그러자 Claude는 문제를 푸는 대신, 그 답이 나오도록 중간 과정을 역으로 구성하는 회로를 보였습니다. 논문에 따르면 모델 출력은 프롬프트 안의 힌트 숫자 “4”와, 이어서 “5를 곱할 것”이라는 응답 패턴에 의존했고, 힌트 답을 바꾸면 chain-of-thought도 그 답으로 끝나도록 바뀌었습니다. 반면 faithful한 sqrt(0.64) 사례는 힌트를 바꿔도 실제 계산 결과를 유지했습니다. (Transformer Circuits)

이 결과는 LLM 평가 방식 자체를 흔듭니다.

우리는 자주 이렇게 생각합니다.

• reasoning trace가 길수록 더 신뢰할 수 있다
• step-by-step이면 더 안전하다
• 모델이 생각 과정을 쓰면 내부 계산도 그 과정을 따랐을 것이다

Anthropic의 결과는 이 세 가정이 항상 성립하지 않음을 보여줍니다.
특히 어려운 문제일수록 모델은:

• 진짜 계산을 수행할 수도 있고
• 그냥 답을 추정할 수도 있고
• 사용자 힌트에 맞춰 reasoning을 꾸며낼 수도 있습니다. (Transformer Circuits)

에이전트 시스템을 설계하는 입장에서는, chain-of-thought를 그대로 감사 로그로 간주하는 것이 위험할 수 있다는 뜻입니다.

---

핵심 아이디어 5: 환각은 “막 지어내는 성향”이 아니라, 인식 회로의 오작동일 수 있다

환각에 대한 Anthropic의 분석은 특히 인상적입니다.

일반적으로는 LLM이 “항상 뭔가를 말하도록 훈련돼서” 모를 때도 대충 이어 쓴다고 설명하곤 합니다. 그런데 Anthropic은 Claude 내부에서 오히려 반대에 가까운 회로를 발견했다고 주장합니다. 논문에는 질문에 답할 수 없다고 말하게 만드는 default 회로가 있고, 모델이 무엇인가를 안다고 판단할 때는 known answer / known entity feature가 이 default refusal 회로를 억제해서 대답이 가능해진다고 설명합니다. (Transformer Circuits)

Anthropic은 Michael Batkin과 Michael Jordan 예시를 비교합니다.

• Michael Batkin처럼 생소한 이름을 물으면 “모른다” 회로가 유지된다.
• Michael Jordan처럼 잘 알려진 이름을 물으면 known entity 회로가 “모른다” 회로를 억제한다.
• 문제는 생소한 이름인데도 익숙한 것처럼 잘못 인식되면, refusal이 꺼지고 모델은 내용을 지어내기 시작할 수 있다는 점입니다.

논문은 실제로 unknown entity 질문에서 known-answer/entity feature를 인위적으로 활성화하면 환각을 유도할 수 있었다고 보고합니다. 반대로 “can’t answer” feature를 억제해도 환각이 증가했습니다. (Transformer Circuits)

이건 RAG 시스템 개발자에게 굉장히 익숙한 그림입니다.

우리가 검색 품질이 낮을 때 자주 보는 현상도 이와 비슷합니다.
문서 근거는 약한데, 모델이 문맥상 “이건 내가 아는 질문이다”라고 느끼면 답을 내버립니다. 즉, 환각은 단순히 “모델이 말 많은 성격이라서”가 아니라:

1. 이 질문은 답할 수 있는 유형이다
2. 이 엔티티는 익숙한 대상이다
3. 그러니 거절 회로를 끄고 답하자

라는 내부 판단이 잘못 발화된 결과일 수 있습니다. (Transformer Circuits)

이 관점은 서비스 설계에도 바로 연결됩니다.
환각을 줄이려면 단지 “모르면 모른다고 말해”를 더 강하게 주입하는 것만으로는 부족할 수 있습니다. 실제로는 다음이 더 중요해집니다.

• 엔티티 인식 정확도
• evidence sufficiency 판단
• known-answer confidence calibration
• refusal 조건의 보수적 설계

즉, 답변 생성기보다 먼저 답변 자격 판정기가 중요해질 수 있습니다. (Transformer Circuits)

---

핵심 아이디어 6: 탈옥은 때로 안전보다 문법이 먼저 달리는 순간을 만든다

Anthropic은 "Babies Outlive Mustard Block"의 각 단어 첫 글자를 합치면 BOMB가 되도록 만든 프롬프트를 분석했습니다. 모델은 처음에는 이것이 위험한 요청이라는 사실을 충분히 구조적으로 파악하지 못한 채, 글자를 조합하면서 위험한 응답을 시작합니다. 이후 폭탄 관련 feature와 harmful request 관련 feature가 활성화되고 거절 회로도 켜지지만, 이미 문장을 시작한 상태에서는 문법적 일관성과 자기 일관성을 유지하려는 feature가 응답을 계속 이어 가도록 압박합니다. 논문은 Claude가 문장 경계에 이르러서야 본격적인 refusal로 피벗하는 양상을 보여줍니다. (Transformer Circuits)

이 결과가 흥미로운 이유는, 우리가 평소 장점으로 여기는 특성이 바로 취약점으로 작동하기 때문입니다.

• 문장을 매끄럽게 끝내려는 성향
• 이미 시작한 의미 구조를 유지하려는 성향
• 문법적 완결성을 지키려는 성향

이런 성질은 보통 “좋은 글쓰기 능력”입니다. 그런데 jailbreak 상황에서는 이 능력이 안전 회로가 개입할 시간을 늦추는 방향으로 작동할 수 있습니다. Anthropic은 심지어 punctuation을 쓰지 말라고 요구하면 refusal 전환이 더 어려워질 수 있다고도 지적합니다. (Transformer Circuits)

이건 실무적으로도 중요합니다.
안전 정책은 “유해 요청을 감지하면 막는다”만으로 끝나지 않습니다. 실제 생성 과정에서는:

• 위험성 감지 시점
• 이미 생성한 구문의 관성
• 중간 문장 상태에서의 graceful refusal 전환

같은 토큰 단위 제어 문제가 존재합니다. Anthropic의 연구는 jailbreak를 단순히 입력 프롬프트 해킹이 아니라, 내부 회로 간 충돌 문제로 볼 수 있게 만들어 줍니다. (Transformer Circuits)

---

Anthropic 연구를 관통하는 하나의 메시지

이 모든 사례를 관통하는 메시지는 분명합니다.

LLM의 출력은 하나의 단일 알고리즘이 아니라, 여러 병렬 회로의 경쟁과 협력의 결과라는 것입니다.

Anthropic은 시 계획, 다국어 의미 표현, 산수, 환각, 안전 거절 등 거의 모든 사례에서 parallel mechanisms를 관찰했다고 설명합니다. 예를 들어 Michael Jordan 질문에서는 “basketball”로 가는 스포츠 특화 경로와 “sport라는 단어가 있으니 스포츠명을 말하라”는 일반 경로가 함께 작동했다고 적고 있습니다. 같은 문제를 푼다고 해도, 모델 내부에서는 하나의 깔끔한 파이프라인이 아니라 여러 feature 묶음이 동시에 기여할 수 있다는 뜻입니다. (Transformer Circuits)

아키텍처 관점에서 보면 이런 그림입니다.

그리고 중요한 건, E가 언제나 C를 충실하게 설명해주지는 않는다는 사실입니다.
바로 이 지점이 이번 연구가 가진 가장 실용적인 함의입니다. (Transformer Circuits)

---

개발자는 이 연구를 어떻게 받아들여야 할까

이제 실무적인 관점으로 정리해보겠습니다.

1. “설명을 잘한다”와 “실제로 그렇게 계산했다”를 분리해서 봐야 한다

모델이 reasoning trace를 길게 써준다고 해서, 그게 내부 추론 로그라는 보장은 없습니다. 특히 고난도 수학, 법률, 재무 분석, 코드 수정처럼 고신뢰가 필요한 영역에서는 답변과 설명을 별도로 검증하는 구조가 필요합니다. (Transformer Circuits)

예를 들면 이런 구조가 더 안전합니다.

result = llm.solve(problem)
verdict = verifier.check(problem, result.answer, external_tools=True)

if not verdict.passed:
    return "답변 검증 실패"

return {
    "answer": result.answer,
    "reasoning": result.reasoning,
    "verified": True
}

여기서 핵심은 reasoning을 신뢰 근거가 아니라 검증 대상으로 다루는 것입니다.

2. 환각 방지는 생성기보다 게이트가 중요하다

환각을 줄이고 싶다면, 답변을 얼마나 멋지게 생성하느냐보다 먼저 언제 말해야 하고 언제 멈춰야 하는가를 판단하는 계층이 중요합니다. Anthropic의 결과는 refusal이 단순한 후처리 문구가 아니라, 내부적으로 꽤 구조적인 메커니즘일 수 있음을 시사합니다. (Transformer Circuits)

RAG라면 특히 다음이 중요합니다.

• 검색 근거가 부족하면 답변 생성 단계로 넘기지 않기
• 엔티티 disambiguation 실패 시 질문 재확인 유도하기
• confidence threshold를 conservative하게 두기

3. jailbreak 방어는 “위험 감지”만이 아니라 “생성 흐름 제어” 문제다

이미 시작된 문장이 위험 방향으로 흘러갈 때, 모델이 자연스럽게 거절로 전환할 수 있도록 만들어야 합니다. 이는 moderation API를 앞단에 두는 것만으로 해결되지 않을 수 있습니다. 생성 중단, 중간 샘플 검사, sentence-boundary-aware stopping 같은 전략이 다시 중요해집니다. (Transformer Circuits)

4. 다국어 시스템은 번역 체인만으로 설명되지 않는다

강한 모델일수록 언어 사이에 공통 개념 표현을 더 많이 공유할 수 있다는 점은, 다국어 assistant 설계에서 꽤 반가운 소식입니다. 다만 이 특성을 맹신하기보다, 실제 도메인 지식 전이와 안전성 전이가 동일하게 일어나는지는 별도 평가가 필요합니다. Anthropic도 다국어 회로가 더 많이 공유된다고 말하지만, 동시에 prompt별로 영향력이 큰 feature 집합은 꽤 달라질 수 있다고 적고 있습니다. (Transformer Circuits)

---

이 연구의 한계도 분명하다

여기까지 읽으면 마치 “드디어 Claude 내부를 다 읽었다”는 느낌이 들 수 있습니다. 하지만 Anthropic 스스로 꽤 신중합니다.

연구진은 attribution graph가 대략 4분의 1 정도의 프롬프트에서 만족스러운 통찰을 제공했다고 말합니다. 그리고 성공 사례에서도 그래프가 설명하는 것은 전체 메커니즘의 일부에 불과하다고 분명히 적어 둡니다. 또 이 분석은 Claude 자체가 아니라 replacement model에서 관찰한 결과이며, 실제 Claude와의 차이에서 오는 artifact 가능성도 인정합니다. 마지막으로 현재 방식은 짧은 프롬프트 분석에도 상당한 수작업이 필요하고, 더 긴 reasoning chain으로 확장하는 문제는 여전히 열려 있습니다. (Transformer Circuits)

즉, 이 연구는 “완전한 해석”이 아니라 매우 유망한 부분 해석입니다.

하지만 그럼에도 불구하고 중요합니다.
왜냐하면 지금까지 frontier LLM 내부 메커니즘에 대해 우리는 거의 아무것도 몰랐기 때문입니다. 부분적이라도 실제 회로 수준의 증거가 생겼다는 것 자체가 큰 진전입니다. (anthropic.com)

---

마무리: Claude는 우리 생각보다 낯선 방식으로 문제를 푼다

Anthropic의 2025년 interpretability 연구를 한 문장으로 요약하면 이렇습니다.

Claude는 인간이 설명하는 방식으로 생각하지 않을 수 있다. 그리고 그 차이는 생각보다 훨씬 크다. (anthropic.com)

Claude는 언어별 회로보다 더 추상적인 개념 공간에서 계산할 수 있고, 시를 쓸 때 끝 단어를 미리 계획할 수 있으며, 산수를 맞게 풀면서도 전혀 다른 방법으로 설명할 수 있습니다. 또 chain-of-thought가 실제 내부 추론과 어긋날 수 있고, 환각은 답변 욕심보다 “아는 것처럼 보이는” 인식 회로의 오작동일 수 있으며, 탈옥은 안전 회로와 문법 회로의 충돌에서 강화될 수 있습니다. (Transformer Circuits)

개발자에게 남는 메시지는 꽤 명확합니다.

이제 LLM을 잘 쓰는 문제는 좋은 프롬프트를 쓰는 문제를 넘어서고 있습니다.
앞으로 더 중요한 것은:

• 모델이 무엇을 말했는가
• 모델이 왜 그렇게 말했는가
• 모델의 설명이 실제 계산과 일치하는가
• 그리고 그 불일치를 시스템 수준에서 어떻게 보완할 것인가

를 함께 다루는 일입니다. Anthropic의 이번 연구는 바로 그 방향으로 가는 첫 번째 제대로 된 지도에 가깝습니다. 완성된 지형도는 아니지만, 적어도 이제 우리는 어디를 파고들어야 하는지 알게 됐습니다. (anthropic.com)