делаю бот телеграм+AMOCRM на основе бота от Константина, в нем используется как qdrant так и просто справочные файлы в виде google документов,
на любые вопросы бот отвечает достаточно неторопясь, с чувством , с толком с растановкой в секунд 10–15. как можно ускорить ответы? какие существуют методы оптимизации, ускорения помимо оптимизации промпта?
какая модель используется? Не берите рассуждающую модель. Будет быстрее гораздо
стоит gpt-4.1-mini, как понять рассуждающая она или нет?
Значит не рассуждающая.
Она в обычных условиях быстрее работает. Какой длины запрос, систем промт, память на сколько сообщений?
вот тут то я и сел в лужу
где это все увидеть?
У вас на n8n? Кто делал?
Вы. Я вверху написал, от Константина..
На n8n
Тогда нужны другие уточнения. Скиньте скрин где есть длительность выполнения
И неплохо бы посмотреть, что вы подключали из гугл документов. Можно в личку
Разобрался. Там три агента, в одном стояла 4. Оgpt.. Поменял, полетело. Как то сразу не заметил..
Эта тема была автоматически закрыта через 2 дня после последнего ответа. В ней больше нельзя отвечать.
