dohaii040603 님의 블로그

1. 로그는 많을수록 좋은가, 아니면 관리 불가능해지는가시스템을 운영하는 조직에서 로그는 언제나 “많을수록 좋다”는 방향으로 쌓인다. 문제가 생겼을 때를 대비해, 나중에 분석할 수 있도록, 혹시 모를 상황을 놓치지 않기 위해 가능한 한 모든 것을 기록하려는 유혹은 매우 강하다. 특히 대화형 제품이나 LLM 기반 시스템에서는 입력, 출력, 중간 상태, 사용자 행동, 내부 판단까지 전부 남기고 싶어진다. 그러나 이런 방식은 시간이 지날수록 한 가지 질문으로 귀결된다. 이 로그들을 정말로 활용하고 있는가라는 질문이다.현실에서는 대부분의 로그가 실제 개선으로 이어지지 않는다. 저장은 하지만 다시 보지 않고, 쌓이기만 한 채 분석되지 않는다. 로그는 많아졌지만, 문제를 더 빨리 발견하지도 못하고, 품질이 눈에 띄..

1. 세션은 기술 용어가 아니라 사용자 경험의 경계다대화형 제품을 설계할 때 ‘세션’이라는 단어는 너무 쉽게 소비된다. 일정 시간 동안의 대화를 묶는 단위, 혹은 연결 상태를 유지하기 위한 기술적 개념 정도로 취급되는 경우가 많다. 하지만 실제 사용자 경험의 관점에서 세션은 그보다 훨씬 큰 의미를 가진다. 세션은 단순히 대화가 이어지는 시간의 문제가 아니라, 사용자가 “하나의 대화”라고 인식하는 경험의 경계이기 때문이다.사람은 대화를 할 때 모든 말을 동일한 맥락으로 받아들이지 않는다. 특정 목적을 가지고 질문을 시작하고, 그 목적이 달성되면 대화는 끝났다고 느낀다. 이때 시간이 얼마나 흘렀는지는 중요하지 않다. 반대로 목적이 끝나지 않았다면, 잠시 대화가 끊겼다가 다시 이어져도 사용자는 여전히 같은 대..

1. 응답 품질의 한계는 모델이 아니라 ‘마무리 단계’에서 드러난다LLM 기반 서비스를 운영하다 보면 어느 순간 비슷한 벽에 부딪힌다. 모델을 바꾸고, 프롬프트를 다듬고, 컨텍스트를 늘려도 응답 품질이 더 이상 눈에 띄게 좋아지지 않는 시점이다. 이때 많은 팀은 “모델의 한계”를 이야기하거나, 더 비싼 모델로 갈아타는 선택을 고민한다. 그러나 실제로 사용자 경험을 자세히 들여다보면, 문제의 상당수는 모델의 사고 과정이 아니라 응답이 사용자에게 전달되기 직전의 마지막 단계, 즉 후처리에서 발생한다.모델이 생성한 텍스트는 완성된 결과물처럼 보이지만, 서비스 관점에서는 원재료에 가깝다. 이 텍스트에는 중복된 표현, 애매한 결론, 문맥상 불필요한 설명, 혹은 사용자가 바로 행동으로 옮기기 어려운 추상적인 문장이..