dohaii040603 님의 블로그

1. 에이전트 시스템에서 로그가 ‘행동 기록’이 되는 순간전통적인 소프트웨어에서 로그는 주로 “무슨 함수가 호출됐는지”, “에러가 발생했는지”를 확인하기 위한 기술적 기록에 가까웠다. 로그는 문제가 생겼을 때 사후적으로 원인을 추적하는 도구였고, 정상 동작 중에는 거의 주목받지 않았다. 그러나 에이전트 기반 시스템이 등장하면서 로그의 의미는 근본적으로 달라지기 시작했다.에이전트는 단순히 입력을 받아 출력을 반환하는 존재가 아니다. 에이전트는 목표를 설정하고, 상황을 해석하며, 여러 단계를 거쳐 행동을 선택한다. 이 과정에서 에이전트는 “생각하고 판단하고 실행하는” 흐름을 반복한다. 따라서 에이전트의 실행 로그는 더 이상 기술적 이벤트의 나열이 아니라, 에이전트의 의사결정 과정 자체를 기록한 흔적이 된다...

1. LLM에서 회귀 실패란 무엇인가: 코드와 다른 테스트의 출발점소프트웨어 개발에서 회귀(regression)란 기존에 정상적으로 동작하던 기능이 변경 이후에 깨지는 현상을 의미한다. 전통적인 코드 기반 시스템에서는 이 개념이 비교적 명확하다. 입력이 같으면 출력도 같아야 하며, 이전에 통과하던 테스트가 실패하면 즉시 문제가 드러난다. 하지만 LLM 기반 시스템에서는 이 전제가 성립하지 않는다.LLM은 본질적으로 **비결정적(non-deterministic)**인 시스템이다. 같은 입력이라도 출력이 매번 완전히 동일하지 않을 수 있으며, 미묘한 차이가 발생하는 것이 오히려 정상적인 동작이다. 이 특성 때문에 많은 팀이 “LLM에는 회귀 테스트가 어렵다”거나 “테스트 자동화는 불가능하다”고 판단한다.그러..

1. 멀티모델 앙상블의 약속과 현실: 정확도는 올랐지만 비용은 감당되지 않았다머신러닝과 딥러닝 분야에서 ‘앙상블’은 오랫동안 성능 향상의 정석으로 여겨져 왔다. 서로 다른 모델을 동시에 사용해 결과를 결합하면 단일 모델보다 더 안정적이고 정확한 예측을 얻을 수 있다는 개념은 수많은 대회와 연구를 통해 검증되어 왔다. 이 흐름은 대규모 언어 모델이 등장한 이후에도 자연스럽게 이어졌다. 서로 다른 LLM을 병렬로 호출하거나, 동일한 입력을 여러 모델에 던진 뒤 결과를 종합하는 방식이 바로 멀티모델 앙상블이다.초기에는 분명 효과가 있었다. 특정 질문에 대해 한 모델이 놓치는 맥락을 다른 모델이 보완했고, 문체나 추론 방식의 차이가 결과의 다양성을 높여주었다. 특히 정답이 하나로 고정되지 않은 생성형 작업에서는..

1. 프롬프트는 더 이상 문장이 아니다: 운영 자산으로서의 프롬프트대규모 언어 모델을 사용하는 시스템에서 프롬프트는 흔히 “질문을 잘 쓰는 기술” 정도로 인식된다. 초기 실험 단계에서는 이 인식이 크게 문제되지 않는다. 프롬프트는 개인의 시도와 감각에 따라 바뀌고, 결과가 마음에 들지 않으면 즉시 수정하면 그만이기 때문이다. 그러나 서비스가 실제 사용자와 연결되고, 프롬프트가 시스템의 핵심 로직으로 작동하기 시작하면 상황은 완전히 달라진다.이 시점부터 프롬프트는 더 이상 자유롭게 바꿀 수 있는 문장이 아니다. 프롬프트는 출력 품질을 결정하는 주요 입력값이자, 시스템 동작을 규정하는 정책 문서에 가까운 성격을 띠게 된다. 동일한 모델이라도 프롬프트가 달라지면 결과는 완전히 달라질 수 있고, 이는 곧 사용자..

1. 컨텍스트 윈도우 확장의 착각: 길수록 똑똑해진다는 믿음대규모 언어 모델을 다루는 환경에서 컨텍스트 윈도우는 종종 “기억력의 크기”처럼 받아들여진다. 더 많은 토큰을 한 번에 입력할 수 있다는 것은, 더 많은 정보를 모델이 참고할 수 있다는 뜻이며, 이는 직관적으로 품질 향상으로 이어질 것처럼 보인다. 실제로 컨텍스트 윈도우가 짧을 때 발생하던 정보 누락 문제는, 일정 수준까지는 윈도우 확장을 통해 완화된다.하지만 이 지점에서 많은 사람들이 하나의 착각에 빠진다. 컨텍스트 윈도우는 길어질수록 무조건 좋은 것일까? 이 질문에 대해 실제 운영 환경의 답은 “아니다”에 가깝다. 컨텍스트가 길어질수록 모델이 다루어야 할 정보의 양은 증가하지만, 그 정보들이 모두 동일한 중요도를 가지지는 않는다. 오히려 정보..

1. 왜 모델 라우팅이 필요한가: 하나의 모델로는 충분하지 않다많은 AI 시스템은 하나의 강력한 모델을 중심으로 설계된다. 성능이 가장 좋은 모델을 선택하고, 모든 요청을 그 모델로 처리하는 방식이다. 초기에는 이 접근이 단순하고 이해하기 쉬우며, 품질 관리도 상대적으로 수월하다. 하지만 서비스가 성장하고 요청 유형이 다양해질수록, 이 구조는 점점 비효율적인 모습을 드러낸다.문제의 핵심은 모든 요청이 동일한 난이도와 중요도를 가지지 않는다는 점이다. 어떤 요청은 매우 단순하고 짧은 응답만 필요하며, 어떤 요청은 복잡한 추론과 긴 맥락 처리가 필요하다. 그럼에도 불구하고 모든 요청을 동일한 모델로 처리한다면, 단순한 요청에도 과도한 연산과 비용이 투입된다.이 지점에서 등장하는 개념이 **모델 라우팅(Mod..

1. GPU 없는 추론을 다시 생각하다: 제약이 아니라 설계 조건으로인공지능 추론을 이야기할 때 GPU는 거의 당연한 전제처럼 등장한다. 대규모 모델, 높은 처리량, 빠른 응답 속도라는 키워드는 자연스럽게 GPU 기반 환경을 연상시킨다. 그러나 실제 서비스 환경에서는 GPU를 사용할 수 없거나, 사용하지 않는 편이 더 합리적인 경우도 많다. 비용, 전력 소비, 운영 복잡성, 배포 환경의 제약 등 다양한 이유로 인해 GPU 없이 동작하는 추론 파이프라인이 요구된다.중요한 점은 GPU가 없다고 해서 추론이 불가능해지는 것은 아니라는 것이다. 오히려 GPU 없이 추론을 설계하는 과정은, 모델과 시스템을 보다 깊이 이해하도록 만든다. 어떤 연산이 정말 필요한지, 어떤 단계가 병목이 되는지, 어디까지 단순화할 수..

1. 추론 방식의 문제는 속도가 아니라 ‘운영 구조’다대규모 모델을 실제 서비스나 시스템에 적용할 때 가장 먼저 마주하는 질문 중 하나는 “어떤 방식으로 추론을 수행할 것인가”이다. 이 질문은 흔히 배치 추론(batch inference)과 스트리밍 추론(streaming inference)이라는 두 가지 선택지로 단순화된다. 하지만 이 선택은 단순히 속도나 기술 트렌드의 문제가 아니라, 시스템을 어떤 방식으로 운영할 것인가에 대한 구조적 결정에 가깝다.배치 추론은 일정량의 데이터를 모아 한 번에 처리하는 방식이다. 반면 스트리밍 추론은 요청이 들어오는 즉시, 혹은 매우 짧은 지연을 두고 연속적으로 처리하는 방식이다. 표면적으로 보면 하나는 “느리지만 효율적인 방식”, 다른 하나는 “빠르지만 부담이 큰 ..

1. 지연시간의 본질: 느린 시스템은 하나의 원인이 아니다지연시간(Latency)은 흔히 “응답이 느리다”는 한 문장으로 표현되지만, 실제 시스템에서의 지연은 단일 원인으로 발생하지 않는다. 대부분의 경우 지연은 여러 단계에서 조금씩 누적되며, 최종 사용자에게는 하나의 느린 경험으로 인식된다. 이 때문에 지연시간 최적화는 특정 코드 한 줄을 고치는 문제가 아니라, 전체 시스템 흐름을 이해하는 문제에 가깝다.많은 경우 성능 개선을 시도할 때 가장 먼저 서버의 연산 속도나 CPU 사용률을 떠올린다. 하지만 실제 지연의 상당 부분은 연산 이전 혹은 이후 단계에서 발생한다. 요청이 서버에 도달하기까지의 네트워크 지연, 요청을 해석하고 검증하는 과정, 외부 시스템과의 통신, 결과를 직렬화해 반환하는 단계까지 모두..

1. 검색 시스템의 재해석: 저장소가 아닌 ‘기억 구조’로서의 검색전통적인 검색 시스템은 오랫동안 “데이터를 저장하고, 질의에 맞는 결과를 찾아 반환하는 구조”로 이해되어 왔다. 이 관점에서 검색은 데이터베이스의 확장 기능이거나, 인덱싱 기술의 응용에 가까웠다. 하지만 최근 AI, 특히 대규모 언어 모델과 결합된 검색 구조는 더 이상 단순한 저장·조회 메커니즘으로 설명되기 어렵다.이 변화의 핵심은 검색이 정보를 찾는 행위에서 맥락을 복원하는 행위로 이동하고 있다는 점이다. 사용자는 더 이상 정확한 키워드를 입력하지 않는다. 대신 불완전한 문장, 모호한 질문, 상황을 내포한 요청을 던진다. 검색 시스템은 이러한 입력을 단순히 문자열 비교로 처리할 수 없게 되었고, “이 요청이 어떤 맥락에서 어떤 정보를 필..