영어에서 번역됨
안녕하세요 여러분!
이건 평범한 업데이트가 아니고, 제가 드디어 다음 봇 배치를 업로드하기 전에 쓰는 마지막 게시글이 될 거예요.
Yang을 작업하다가 이런 생각이 들었어요:
어떤 분들은 제 봇에 어떤 API를 쓰는 게 가장 좋은지 모를 수도 있죠. 아니면 API를 더 저렴하게 쓰는 방법이 뭔지?
지금부터 다뤄볼게요.
먼저, 저는 JLLM용으로 봇을 만들지 않아요. JLLM은 제 기준에서는 정말 구식이고, 저는 항상 토큰을 많이 쓰는 봇을 만들게 되는데, 그게 JLLM의 컨텍스트 창을 심각하게 망가뜨리거든요.
아니요, 제가 실제로 쓰는 건 여러 API의 조합이에요.
-Deepseek은 현재 가장 인기 있지만 캐릭터 크기와 긴 롤플레이에 따라 비쌀 수 있어요. 이걸 쓸 때는 12~15개 메시지마다 메모리를 저장해서 공간을 확보하는 걸 진심으로 추천해요. Deepseek은 대화형 및 일반 RP에도 아주 좋아요.
-저는 또한 주로 NSFW 롤플레이에 Grok을 써요. ERP 중에 Deepseek보다 훨씬 잘 쓰고 반복도 덜하다는 걸 알았거든요. 그렇긴 해도: 여전히 돌리는 데 더 비싸요.
하지만 둘을 섞어 쓰면 잘 맞는 것 같아요. 그리고 Grok이 스크립트와 로어북을 천 배는 더 잘 따르는 경향이 있다는 것도 알았어요. Deepseek도 복불복이고, 점점 구식이 되어가고 있어요.
제가 써본 다른 좋은 대체 API들은:
Trinity- 이건 Monika에 방금 테스트해봤는데, 아주 잘 쓴다고 생각했어요. 그리고 더 저렴해요.
Qwen3 235B A22B Instruct 2507- 더 저렴한 옵션 중 하나지만 반복되는 경향이 있어요.
Step 3.5 Flash- openrouter에 이걸 무료 버전이 있었는데, 익스트림 NSFW는 허용하지 않는 경향이 있어요. 그리고 이상한 타이밍에 스로틀링을 거는 경향이 있고요.
저는 Chatgpt를 쓰지 않아요, 글쓰기는 잘할 수 있다는 걸 알았지만 제겐 너무 비싸요. GLM 5도 마찬가지예요(검열 쪽에서는 최고 중 하나임에도 불구하고). 게다가 Chatgpt는 거의 모든 걸 검열해요.
설정:
Temp: deepseek의 경우: .30-.50 (다만, 약간 "너무" 창의적이 될 수 있어요) 나머지의 경우: 1.0-1.20
Max Tokens: 제 건 약 1000으로 되어 있지만, 정말 본인 하기 나름이에요. 메시지당 토큰을 많이 생성할수록 더 비싸진다는 건 말해둘게요.
Context size: 제 건 최대로 되어 있지만, 역시 본인 하기 나름이에요.
고급 설정:
Top K: 80. 이 설정은 말도 안 되는 생성을 줄여줘요.
Top P: .8-.85. 다음 단어 선택을 누적 확률이 임계값을 초과하는 최상위 단어의 가장 작은 부분집합으로 제한하여 텍스트 생성의 창의성을 제어하는 AI 매개변수예요
Repetition Penalty: 약 1.0-1.20. 이는 AI가 특정 단어를 너무 자주 반복하는 것에 페널티를 줘요.
Frequency Penalty: 0.4-0.6. 텍스트에 이미 단어가 등장한 빈도에 비례하여 페널티를 적용함으로써 토큰 반복을 줄여요.
그리고 네, 저는 이 모든 설정을 모든 LLM에서 동일하게 사용해요. temperature 설정만 빼고요.
저는 보통 한 달에 한 번 Openrouter에 10달러를 충전하는데, 이 방법을 쓰면 보통 4~6주 동안 가요.
생성됨 4월 25일
업데이트됨 4월 25일
게시됨 4월 25일