SSE 기반 LLM 챗봇을 만들면서, 동기와 비동기 방식에서 발생하는 이슈를 직접 확인하게 되었습니다.이번 글에서는 개발 과정에서 발견한 문제와 개선점을 중심으로 작성해봤습니다. 상황- Python,FastAPI를 통해 LLM기반의 챗봇 개발- 채팅 방식은 SSE(Server-Sent Events)를 사용했으며, 사용자 간 채팅이 아니라 사용자의 메시지에 대해 서버 LLM이 응답을 제공하는 구조입니다. 따라서 서버 측에서 지속적으로 응답을 내려주는 형식입니다. 로직클라이언트가 SSE 연결 요청을 보내면 서버는 고유한 id를 생성하여 큐와 매핑하고, "채팅 준비 완료" 메시지를 즉시 응답합니다.SSE 엔드포인트는 해당 id에 연결된 큐를 지속적으로 모니터링하며, 새로운 메시지가 들어오면 StreamingR..