LLM-модели
На вкладке «LLM-модели» выбирается языковая модель, на которой работает агент. LLM-модель — это «мозг» вашего агента: от неё зависят качество ответов и стоимость обработки сообщений.
Выбор модели
Откройте выпадающий список и выберите модель. В наличии более 50 проверенных моделей, которые обеспечивают стабильность и предстказуемое качество ответов.
Для удобства выбора модели - мы поставили плашки-подсказки напротив некоторых названий.
- Дёшево для тестов — берите эти модели, пока настраиваете агента. Тестирование обойдётся недорого: можно спокойно править промпт и проверять ответы.
- Популярная — эти модели хорошо показывают себя в реальной работе. Когда агент настроен и вы переводите его в «боевой режим», выбирайте модель поумнее и подороже — как раз из этой группы.
- Мощная — самые умные модели на рынке. Выбирайте их, если агенту нужно разбираться в сложных вопросах и давать развёрнутые, продуманные ответы.
- Новинка — модели, которые только вышли. Здесь всё самое свежее, если хотите работать на последних разработках.
- РФ модель — российская модель YandexGPT от Яндекса.
Если для вашей компании важно, чтобы данные не покидали Россию, выбирайте модель YandexGPT от российского провайдера Яндекс. Все запросы обрабатываются на серверах в РФ, данные не передаются за границу, и работа агента соответствует требованиям российского законодательства к обработке и хранению данных.
Описание модели
У каждой модели есть описание — разверните блок «Описание модели» под списком. Там собраны её основные характеристики: контекст, дата выхода и цена.
Цена за токены
Один из параметров, на который стоит смотреть при выборе модели, — цена за входящие и исходящие токены.
Токен — это кусочек текста, которым «мыслит» модель. В среднем одно русское слово — это 2–3 токена. Всё, что модель читает и пишет, измеряется в токенах, и именно по ним считается стоимость.
- Входящие токены — всё, что уходит в модель: сообщение клиента + промпт агента + история переписки + найденные фрагменты из базы знаний.
- Исходящие токены — ответ, который пришел обратно от модели к нам, в результате обработки той информации, которую мы в нее направили
Цена в карточке указана в рублях за 1 миллион токенов — отдельно за входящие и отдельно за исходящие. Исходящие обычно дороже входящих.
После каждого вашего запроса деньги списываются с баланса платформы: сколько токенов агент реально израсходовал, столько и спишется. Т.е. только по факту реально использованных токенов.
Сколько стоит один запрос на практике, видно в разделе «Статистика». Там по каждому ответу агента показано, сколько входящих и сколько исходящих токенов израсходовала выбранная модель и во сколько этот ответ вам обошёлся.
Это самый простой способ понять реальную стоимость работы агента: посмотрите несколько запросов в «Статистике» — и станет ясно, сколько в среднем стоит один диалог на выбранной модели.
Как выбрать модель под свои задачи
Разные модели по-разному отвечают и по-разному тарифицируются. Если ответы не устраивают, можно попробовать другую модель, не меняя остальные настройки агента.
После смены модели проверьте работу агента в тестовом чате: задайте типичные вопросы клиентов и посмотрите, как меняются ответы.
Голосовые сообщения
На этой же вкладке находится переключатель «Принимать голосовые сообщения». Общаться с агентом можно не только текстом, но и голосовыми.
-
Если переключатель включён, то агент будет принимать голосовые сообщения от пользователей, преобразовывать аудио в текст и отвечать пользователям на их вопросы. Агент отвечает при этом текстом, а не голосом.
-
Если переключатель «Принимать голосовые сообщения» выключен, то агент будет отправлять текст из поля «Текст ответа, когда голосовые отключены» в ответ на голосовые пользователя. Это поле стоит заполнить своими словами, чтобы ответ звучал в стиле вашей компании.