dohaii040603 님의 블로그

1. 추론 방식의 문제는 속도가 아니라 ‘운영 구조’다대규모 모델을 실제 서비스나 시스템에 적용할 때 가장 먼저 마주하는 질문 중 하나는 “어떤 방식으로 추론을 수행할 것인가”이다. 이 질문은 흔히 배치 추론(batch inference)과 스트리밍 추론(streaming inference)이라는 두 가지 선택지로 단순화된다. 하지만 이 선택은 단순히 속도나 기술 트렌드의 문제가 아니라, 시스템을 어떤 방식으로 운영할 것인가에 대한 구조적 결정에 가깝다.배치 추론은 일정량의 데이터를 모아 한 번에 처리하는 방식이다. 반면 스트리밍 추론은 요청이 들어오는 즉시, 혹은 매우 짧은 지연을 두고 연속적으로 처리하는 방식이다. 표면적으로 보면 하나는 “느리지만 효율적인 방식”, 다른 하나는 “빠르지만 부담이 큰 ..

1. 지연시간의 본질: 느린 시스템은 하나의 원인이 아니다지연시간(Latency)은 흔히 “응답이 느리다”는 한 문장으로 표현되지만, 실제 시스템에서의 지연은 단일 원인으로 발생하지 않는다. 대부분의 경우 지연은 여러 단계에서 조금씩 누적되며, 최종 사용자에게는 하나의 느린 경험으로 인식된다. 이 때문에 지연시간 최적화는 특정 코드 한 줄을 고치는 문제가 아니라, 전체 시스템 흐름을 이해하는 문제에 가깝다.많은 경우 성능 개선을 시도할 때 가장 먼저 서버의 연산 속도나 CPU 사용률을 떠올린다. 하지만 실제 지연의 상당 부분은 연산 이전 혹은 이후 단계에서 발생한다. 요청이 서버에 도달하기까지의 네트워크 지연, 요청을 해석하고 검증하는 과정, 외부 시스템과의 통신, 결과를 직렬화해 반환하는 단계까지 모두..

1. 검색 시스템의 재해석: 저장소가 아닌 ‘기억 구조’로서의 검색전통적인 검색 시스템은 오랫동안 “데이터를 저장하고, 질의에 맞는 결과를 찾아 반환하는 구조”로 이해되어 왔다. 이 관점에서 검색은 데이터베이스의 확장 기능이거나, 인덱싱 기술의 응용에 가까웠다. 하지만 최근 AI, 특히 대규모 언어 모델과 결합된 검색 구조는 더 이상 단순한 저장·조회 메커니즘으로 설명되기 어렵다.이 변화의 핵심은 검색이 정보를 찾는 행위에서 맥락을 복원하는 행위로 이동하고 있다는 점이다. 사용자는 더 이상 정확한 키워드를 입력하지 않는다. 대신 불완전한 문장, 모호한 질문, 상황을 내포한 요청을 던진다. 검색 시스템은 이러한 입력을 단순히 문자열 비교로 처리할 수 없게 되었고, “이 요청이 어떤 맥락에서 어떤 정보를 필..

1. 왜 LLM 캐시 전략이 중요한가: 토큰 비용의 구조적 이해대규모 언어 모델(LLM)이 다양한 서비스에 도입되면서, 많은 개발자와 기획자가 가장 먼저 체감하는 문제는 바로 **토큰 비용(token cost)**이다. LLM은 입력과 출력 모두를 토큰 단위로 처리하며, 이 토큰 수가 곧 연산 비용과 직결된다. 사용량이 늘어날수록 비용은 선형적으로 증가하고, 서비스 규모가 커질수록 이 문제는 단순한 운영 이슈가 아니라 시스템 설계 차원의 과제로 확대된다.토큰 비용은 단순히 “질문이 길어서 비싸다”는 수준의 문제가 아니다. 동일한 요청이 반복적으로 발생하는 구조, 유사한 문맥이 지속적으로 재사용되는 서비스 특성, 그리고 사용자 행동 패턴까지 모두 비용에 영향을 준다. 예를 들어 FAQ 기반 서비스, 고객 ..

1. 모델 서빙의 출발점: 단일 서버 아키텍처의 탄생과 한계머신러닝 모델이 연구실을 벗어나 실제 서비스에 적용되기 시작했을 때, 모델 서빙은 매우 단순한 형태로 시작되었다. 하나의 서버에 모델을 로드하고, 외부 요청이 들어오면 해당 서버가 추론을 수행해 결과를 반환하는 구조였다. 이 방식은 구현이 간단하고 이해하기 쉬웠으며, 초기 서비스나 실험 단계에서는 충분히 실용적인 선택이었다.단일 서버 기반 모델 서빙 아키텍처의 가장 큰 장점은 구조적 단순성이다. 모델 파일은 로컬에 존재하고, 메모리에 한 번 로드되면 반복적으로 사용된다. 네트워크 경로도 단순하며, 디버깅과 모니터링 역시 비교적 수월하다. 이로 인해 초기 머신러닝 서비스의 상당수는 단일 서버 구조로 출발했다.하지만 모델의 크기와 복잡도가 증가하고,..