dohaii040603 님의 블로그

1. GPU 없는 추론을 다시 생각하다: 제약이 아니라 설계 조건으로인공지능 추론을 이야기할 때 GPU는 거의 당연한 전제처럼 등장한다. 대규모 모델, 높은 처리량, 빠른 응답 속도라는 키워드는 자연스럽게 GPU 기반 환경을 연상시킨다. 그러나 실제 서비스 환경에서는 GPU를 사용할 수 없거나, 사용하지 않는 편이 더 합리적인 경우도 많다. 비용, 전력 소비, 운영 복잡성, 배포 환경의 제약 등 다양한 이유로 인해 GPU 없이 동작하는 추론 파이프라인이 요구된다.중요한 점은 GPU가 없다고 해서 추론이 불가능해지는 것은 아니라는 것이다. 오히려 GPU 없이 추론을 설계하는 과정은, 모델과 시스템을 보다 깊이 이해하도록 만든다. 어떤 연산이 정말 필요한지, 어떤 단계가 병목이 되는지, 어디까지 단순화할 수..

1. 추론 방식의 문제는 속도가 아니라 ‘운영 구조’다대규모 모델을 실제 서비스나 시스템에 적용할 때 가장 먼저 마주하는 질문 중 하나는 “어떤 방식으로 추론을 수행할 것인가”이다. 이 질문은 흔히 배치 추론(batch inference)과 스트리밍 추론(streaming inference)이라는 두 가지 선택지로 단순화된다. 하지만 이 선택은 단순히 속도나 기술 트렌드의 문제가 아니라, 시스템을 어떤 방식으로 운영할 것인가에 대한 구조적 결정에 가깝다.배치 추론은 일정량의 데이터를 모아 한 번에 처리하는 방식이다. 반면 스트리밍 추론은 요청이 들어오는 즉시, 혹은 매우 짧은 지연을 두고 연속적으로 처리하는 방식이다. 표면적으로 보면 하나는 “느리지만 효율적인 방식”, 다른 하나는 “빠르지만 부담이 큰 ..

1. 지연시간의 본질: 느린 시스템은 하나의 원인이 아니다지연시간(Latency)은 흔히 “응답이 느리다”는 한 문장으로 표현되지만, 실제 시스템에서의 지연은 단일 원인으로 발생하지 않는다. 대부분의 경우 지연은 여러 단계에서 조금씩 누적되며, 최종 사용자에게는 하나의 느린 경험으로 인식된다. 이 때문에 지연시간 최적화는 특정 코드 한 줄을 고치는 문제가 아니라, 전체 시스템 흐름을 이해하는 문제에 가깝다.많은 경우 성능 개선을 시도할 때 가장 먼저 서버의 연산 속도나 CPU 사용률을 떠올린다. 하지만 실제 지연의 상당 부분은 연산 이전 혹은 이후 단계에서 발생한다. 요청이 서버에 도달하기까지의 네트워크 지연, 요청을 해석하고 검증하는 과정, 외부 시스템과의 통신, 결과를 직렬화해 반환하는 단계까지 모두..