Traduzido do inglês
Olá a todos!
Esta não é uma atualização normal e esta será a última postagem que farei antes de finalmente enviar o próximo lote de bots.
Enquanto trabalhava no Yang, pensei em algo:
Algumas pessoas podem não saber quais são as melhores APIs para usar com meus bots. Ou qual é a maneira mais barata de usar APIs?
Vou entrar nisso agora.
Primeiramente, eu não faço bots para o JLLM. O JLLM está seriamente desatualizado para mim, e eu sempre acabo fazendo bots com muitos tokens, o que seriamente destrói a janela de contexto do JLLM.
Não, o que eu realmente uso é uma mistura de APIs.
-Deepseek é o mais popular no momento, mas pode ser caro dependendo do tamanho do personagem e de roleplays longos. Com isso, eu recomendaria seriamente salvar sua memória a cada 12 a 15 mensagens para liberar espaço. O Deepseek também é muito bom em conversas e RPs regulares.
-Eu também uso o Grok, principalmente, para roleplay NSFW. Acho que ele escreve significativamente melhor que o Deepseek durante ERP, e é menos repetitivo. Dito isso: ainda é mais caro de rodar.
Mas acho que uma mistura dos dois funciona bem. Também descobri que o Grok tende a seguir os scripts e lorebooks mil vezes melhor. O Deepseek também é uma incógnita, e está ficando mais velho.
Outras APIs que usei e que são boas substitutas:
Trinity- Esta eu acabei de testar na Monika, e achei que escreveu muito bem. E é mais barata.
Qwen3 235B A22B Instruct 2507- Uma das opções mais baratas, mas fica repetitiva.
Step 3.5 Flash- Havia uma versão gratuita deste no openrouter, mas eles tendem a não permitir NSFW extremo. E tendem a limitar em momentos estranhos.
Eu não uso o Chatgpt, notei que ele pode ser bom em escrita, mas é caro demais para mim. O mesmo com o GLM 5 (apesar de estar entre os melhores para censura). Além disso, o Chatgpt censura basicamente tudo.
Configurações:
Temp: Para deepseek: .30-.50 (embora possa ficar um pouco "criativo" demais) Para o resto: 1.0-1.20
Max Tokens: O meu está em cerca de mil, mas realmente depende de você. Vou dizer que quanto mais tokens ele produz por mensagem, mais caro fica.
Tamanho do contexto: O meu está no máximo, mas novamente depende de você.
Configurações Avançadas:
Top K: 80. Essa configuração reduz gerações sem sentido.
Top P: .8-.85. um parâmetro de IA que controla a criatividade da geração de texto limitando a seleção da próxima palavra ao menor subconjunto de palavras mais bem classificadas cuja probabilidade cumulativa excede um limite
Penalidade de Repetição: Em torno de 1.0-1.20. Isso penaliza a IA por repetir certas palavras com muita frequência.
Penalidade de Frequência: 0.4-0.6. reduz a repetição de tokens aplicando uma penalidade proporcional à frequência com que uma palavra já apareceu no texto.
E sim, eu uso todas essas configurações da mesma forma em todos os LLMs. Exceto pelas configurações de temperatura.
Eu costumo colocar 10$ no Openrouter uma vez por mês e geralmente dura 4-6 semanas, usando este método.
Criado 25 de abr.
Atualizado 25 de abr.
Publicado 25 de abr.