그래서요.

제가 이전 글에서 바로잡는 방법을 알려드렸던, 갑작스러운 품질 '하락'에 대해 다들 얘기하는 걸 봤어요.

이제 소위 '메시지 생성 속도가 느려졌다'는 얘기로 넘어갈게요.

Jai가 메시지 생성 속도를 늦춘 건 아니라고 생각해요. 제 짐작으로는 Jai로 옮겨 오는 사람들이 늘었거나, 전반적으로 더 많이 쓰게 된 것 같아요.

그러면 당연히 생성 속도가 느려질 수밖에 없어요. LLM이 가벼운 모델이 아니라 추론형 모델이라고 확신하는데, 그러면 응답하고 생성하는 속도에도 영향을 주거든요.

그런데 그 작은 알림은 왜 뜨는 걸까요?

일부러 생성 속도를 낮췄을 거라고는 전혀 믿기 어려워요. 프리미엄 사용자는 우선순위를 받고, 무료 사용자는 일반 속도를 받는 것뿐이지, 그게 '나빠진' 버전은 아니에요.

그런데 애초에 왜 프리미엄을 만든 걸까요!?

챗봇 사이트는 정말 비싸요. 특히 제 생각에는 지금 사용자가 예전보다 훨씬 많아진 것 같아요. 비용과 균형을 맞춰야 하는데, 제가 알기로는 토큰과 관련된 문제인 것 같아요. 그렇지 않으면 운영이 어려워져 결국 서비스를 완전히 접어야 할 수도 있으니까요.

제 조언은요?

당황하지 마세요. Jai는 더 큰 플랫폼이 된 것뿐이고, 다른 플랫폼들(제 생각엔 그쪽이 훨씬 더 탐욕스러워요)처럼 서비스를 유지하기 위해 프리미엄 옵션을 도입한 거예요.