Online Documentation for SQL Manager for PostgreSQL

Токены

Токен — единица, в которой языковые модели измеряют объем текста. Все, что Вы отправляете ассистенту, модель разбивает на токены: текст запроса, фрагменты SQL, описания объектов базы данных, тексты ошибок, планы выполнения запросов и содержимое приложенных файлов.

В токенах измеряются все ограничения и пороги предупреждений, задаваемые в настройках ИИ-ассистента: предельный размер приложенного текстового файла, порог предупреждения о размере контекста и предельный размер снимка метаданных. Размер в килобайтах при этом не используется.

Точное число токенов известно только модели: она подсчитывает его при обработке запроса, а ассистент показывает полученное значение в строке состояния.

До отправки запроса точное число токенов неизвестно, поэтому размеры неотправленных чипов и снимков метаданных ассистент оценивает приблизительно — по усредненному коэффициенту пересчета. Фактическое значение может отличаться от оценки в обе стороны.

Контекст накапливается за весь диалог: с каждым новым запросом ассистенту отправляется весь предыдущий диалог со всеми приложенными к нему чипами контекста. Поэтому число токенов в контексте растет по мере разговора, даже если сами запросы короткие. Текущее значение показывает индикатор размера контекста в строке состояния панели.

Индикатор сравнивает накопленное число токенов с порогом, заданным параметром Warning threshold, K tokens, и по мере приближения к нему меняет цвет. Это только предупреждение: превышение порога не блокирует отправку запроса.

Важно: Оплата запросов к модели рассчитывается по количеству отправленных и полученных токенов, причем выходные токены обычно стоят в несколько раз дороже входных. Чем длиннее диалог, тем больше токенов оплачивается на каждом шаге — расходы растут быстрее, чем число сообщений.

Если число токенов в контексте стало слишком большим, Вы можете начать новый чат кнопкой New Chat — накопленный контекст при этом сбрасывается. Уменьшить объем отдельного запроса можно, убрав лишние чипы контекста до отправки или сократив состав снимка метаданных с помощью опций на вкладке Context диалогового окна Environment Options.

Примечание: Чтобы снизить стоимость, начинайте новый диалог, когда тема сменилась, и не прикладывайте больше метаданных, чем нужно для текущей задачи.