오늘도 공부

AI 에이전트를 만들 때 많은 사람들이 먼저 도구부터 붙인다.검색 도구, 코드 실행 도구, 파일 읽기, 메일, 캘린더, 데이터베이스, RAG, LangChain, LangGraph, MCP.물론 중요하다.그런데 도구보다 먼저 정해야 할 게 있다.이 에이전트는 어떤 기준으로 움직일 것인가?무엇을 우선할 것인가.언제 알아서 실행할 것인가.언제 멈추고 사용자에게 물어볼 것인가.사용자가 잘못된 방향으로 가고 있을 때 반박할 수 있는가.그저 답변을 생성하는 도구인가, 아니면 일을 앞으로 밀어붙이는 운영자인가.이걸 정리한 파일이 바로 SOUL.md다.SOUL.md는 프롬프트가 아니라 운영 헌법에 가깝다일반적인 프롬프트는 보통 이렇게 시작한다.너는 내 비서야. 나를 도와줘.하지만 이 정도로는 에이전트가 제대로 움직이..

토큰부터 어텐션, 다음 단어 예측까지 한 번에 이해하기요즘 AI를 이야기할 때 가장 많이 등장하는 단어가 있습니다. 바로 LLM, 즉 대규모 언어 모델입니다.ChatGPT, Claude, Gemini, LLaMA 같은 모델들이 모두 이 범주에 들어갑니다. 겉으로 보면 이 모델들은 사람처럼 글을 읽고, 질문에 답하고, 코드를 짜고, 번역하고, 요약하고, 심지어 창작까지 하는 것처럼 보입니다.그런데 내부에서는 실제로 무슨 일이 벌어질까요?LLM은 사람이 글을 읽듯이 문장을 “이해”하는 방식으로 작동하지 않습니다. 더 정확히 말하면, 텍스트를 숫자로 바꾸고, 그 숫자들 사이의 관계를 계산한 뒤, 다음에 올 가능성이 높은 토큰을 하나씩 예측하는 방식으로 작동합니다.현대 LLM의 대부분은 트랜스포머 Transfo..