dohaii040603 님의 블로그

1. 에이전트 시스템에서 로그가 ‘행동 기록’이 되는 순간전통적인 소프트웨어에서 로그는 주로 “무슨 함수가 호출됐는지”, “에러가 발생했는지”를 확인하기 위한 기술적 기록에 가까웠다. 로그는 문제가 생겼을 때 사후적으로 원인을 추적하는 도구였고, 정상 동작 중에는 거의 주목받지 않았다. 그러나 에이전트 기반 시스템이 등장하면서 로그의 의미는 근본적으로 달라지기 시작했다.에이전트는 단순히 입력을 받아 출력을 반환하는 존재가 아니다. 에이전트는 목표를 설정하고, 상황을 해석하며, 여러 단계를 거쳐 행동을 선택한다. 이 과정에서 에이전트는 “생각하고 판단하고 실행하는” 흐름을 반복한다. 따라서 에이전트의 실행 로그는 더 이상 기술적 이벤트의 나열이 아니라, 에이전트의 의사결정 과정 자체를 기록한 흔적이 된다...

1. LLM에서 회귀 실패란 무엇인가: 코드와 다른 테스트의 출발점소프트웨어 개발에서 회귀(regression)란 기존에 정상적으로 동작하던 기능이 변경 이후에 깨지는 현상을 의미한다. 전통적인 코드 기반 시스템에서는 이 개념이 비교적 명확하다. 입력이 같으면 출력도 같아야 하며, 이전에 통과하던 테스트가 실패하면 즉시 문제가 드러난다. 하지만 LLM 기반 시스템에서는 이 전제가 성립하지 않는다.LLM은 본질적으로 **비결정적(non-deterministic)**인 시스템이다. 같은 입력이라도 출력이 매번 완전히 동일하지 않을 수 있으며, 미묘한 차이가 발생하는 것이 오히려 정상적인 동작이다. 이 특성 때문에 많은 팀이 “LLM에는 회귀 테스트가 어렵다”거나 “테스트 자동화는 불가능하다”고 판단한다.그러..

1. 멀티모델 앙상블의 약속과 현실: 정확도는 올랐지만 비용은 감당되지 않았다머신러닝과 딥러닝 분야에서 ‘앙상블’은 오랫동안 성능 향상의 정석으로 여겨져 왔다. 서로 다른 모델을 동시에 사용해 결과를 결합하면 단일 모델보다 더 안정적이고 정확한 예측을 얻을 수 있다는 개념은 수많은 대회와 연구를 통해 검증되어 왔다. 이 흐름은 대규모 언어 모델이 등장한 이후에도 자연스럽게 이어졌다. 서로 다른 LLM을 병렬로 호출하거나, 동일한 입력을 여러 모델에 던진 뒤 결과를 종합하는 방식이 바로 멀티모델 앙상블이다.초기에는 분명 효과가 있었다. 특정 질문에 대해 한 모델이 놓치는 맥락을 다른 모델이 보완했고, 문체나 추론 방식의 차이가 결과의 다양성을 높여주었다. 특히 정답이 하나로 고정되지 않은 생성형 작업에서는..