Які обмеження ChatGPT?

Якщо ви використовували ChatGPT для будь-яких серйозних завдань — автоматизації сценаріїв, рефакторингу коду, узагальнення журналів або просто просили його пояснити, чому ваш контейнер Docker не закривається — ви, ймовірно, зіткнулися з обмеженням. Якщо ваша сесія раптово перервалася на середині відповіді або ви отримали незрозумілу помилку «занадто багато запитів», ми вам допоможемо. Зараз ми розглянемо природу цих обмежень, причини їх існування та їх потенційний вплив на реальне використання.

1. Обмеження повідомлень: «Занадто багато запитів, спробуйте пізніше»

OpenAI не публікує точні цифри в режимі реального часу, але так — існує обмеження ChatGPT на годину залежно від вашого тарифу. Наприклад, користувачі безкоштовного тарифу можуть отримувати 20–25 повідомлень за 3 години, а передплатники ChatGPT Plus — набагато більше. Однак вони все одно стикаються з обмеженнями за годинами або хвилинами, якщо перевищують ліміт.

Фактичний ліміт повідомлень на годину не відображається через виклик API або панель управління квотами. Ви дізнаєтеся про нього тільки тоді, коли досягнете його — зазвичай в найневідповідніший момент, наприклад, відразу після того, як вставили 300-рядковий скрипт bash і натиснули «Enter».

Якщо ви використовуєте API, ви можете розраховувати на більшу передбачуваність. OpenAI застосовує обмеження швидкості для кожної моделі, кожного користувача і кожної організації з квотами в запитах на хвилину (RPM) і токенах на хвилину (TPM). Вони налаштовуються за запитом для платних тарифних планів, але завжди є верхня межа, якщо у вас немає корпоративного контракту.

2. Розмір підказки: як великий — це занадто великий?

Жорсткий ліміт підказки ChatGPT залежить від використовуваної моделі. GPT-4 (варіант 32K) має загальну довжину контексту близько 32 000 токенів. Це включає як вашу підказку, так і відповідь моделі.

Не очікуйте, що ви зможете втиснути всю сторінку man Linux, вашу конфігурацію nginx і дамп журналів journalctl в одне повідомлення і отримати адекватну відповідь. Ви, швидше за все, досягнете граничного розміру запиту ChatGPT і будете перервані на півдорозі із загальною помилкою «перевищено ліміт токенів».

Ось короткий приклад. Це корисне навантаження:

{
  «model»: «gpt-4-32k»,
  «messages»: [
    {«role»: «user», «content»: «Ось мій файл Docker Compose... <+20k символів>»}
  ]
}

...може працювати нормально, поки ви не досягнете межі в ~32K токенів, що відповідає приблизно 24 000–25 000 слів (залежно від структури). Якщо ви створюєте інструменти на базі ChatGPT, рекомендується спочатку токенізувати вхідні дані за допомогою бібліотеки tiktoken від OpenAI.

Інші корисні статті в нашому Блозі:

    - Як використання штучного інтелекту в пошуку змінює підходи до SEO

    - BERT та SEO: Як ІІ від Google змінив підхід до пошукової оптимізації

    - Простий моніторинг вашого Linux VPS

    - Що вибрати як сховище для вашого сервера: HDD, SSD, NVMe?

3. Витрата токенів: відповіді теж враховуються

Важливо зазначити, що кожне слово, згенероване GPT, витрачає токени. Якщо ваш запит вже досяг межі, у моделі залишається менше можливостей для відповіді. Саме тому ChatGPT іноді обриває фразу на півслові — не тому, що в ньому є баг, а тому, що відповідь досягла граничної кількості токенів.

Використовуйте параметр max_tokens в API, щоб обмежити кількість відповідей. Якщо ви використовуєте CLI-інструмент, який використовує ChatGPT, додайте логіку для розбиття великих запитів на частини або підсумовування журналів перед їх введенням. Так, підсумовування перед підсумовуванням — це нова норма.

4. Обмеження швидкості за IP, сеансом або ключем API

Якщо ви використовуєте внутрішній інструмент самообслуговування, який використовує ChatGPT, наприклад, помічник з документації, пояснювач коду або внутрішній чат-бот, майте на увазі, що OpenAI встановлює обмеження на використання ChatGPT за кількома параметрами: IP-адреса, ключ API, обліковий запис користувача та ідентифікатор організації.

Ви не можете «обдурити» цю систему, змінюючи ключі або IP-адреси, якщо тільки ви не готові порушити умови OpenAI. Вони відстежують підозрілі моделі використання, особливо якщо ви проксіруєте запити для декількох осіб через один кінцевий пункт.

Пам'ятайте, що веб-інтерфейс і API мають різні обмеження швидкості. Веб-інтерфейс може перестати працювати, але це не означає, що ваш ключ API має обмеження швидкості — і навпаки.

5. Чому у ChatGPT взагалі є обмеження?

Хороше питання. Коротка відповідь очевидна: так OpenAI запобігає зловживанням і підтримує прийнятну затримку для всіх. Уявіть собі ситуацію, в якій кожен фронтенд-розробник на планеті вставляє повні React-додатки у вікно чату 100 разів на годину. Бекенд просто перевантажиться.

Обмеження також допомагають OpenAI керувати витратами. Кожен згенерований токен коштує реальних грошей у вигляді часу GPU. Ми живемо в хмарі, але хтось все одно платить за рахунками. Встановлення обмеження ChatGPT — це спосіб OpenAI запобігти перевантаженню своєї інфраструктури.

6. Реальні обхідні шляхи

Якщо ви досвідчений користувач або використовуєте щось на зразок помічника DevOps, який за лаштунками використовує ChatGPT, ось кілька речей, які я бачив або робив:

     - Використовуйте лічильник токенів перед відправкою будь-якого запиту. Це допоможе уникнути відключень.
     - Розбивайте великі документи на блоки по 2–4 тисячі токенів. Спочатку використовуйте функцію підсумовування.
     - Кешуйте часто використовувані підказки та відповіді локально, особливо для статичних документів.
     - Уникайте надсилання повної історії чату кожного разу, якщо ви не використовуєте пам'ять.
     - Відмовтеся від повторних спроб. Отримали помилку 429? Зачекайте 30–60 секунд, не натискайте знову.

Крім того, так, в ChatGPT є обмеження на кількість слів у запитах і м'які обмеження навіть нижче максимальної кількості токенів — наприклад, падіння продуктивності, коли введення стає занадто гучним. Менше часто означає більше.

Висновок

Обмеження ChatGPT — це не просто технічні особливості, вони є фундаментальними для роботи системи. Зрозумійте ці межі. Це допоможе вам уникнути розчарувань, незалежно від того, чи пишете ви скрипт-обгортку, створюєте внутрішній чат-бот або просто використовуєте його, щоб зрозуміти, чому ufw раптово заблокував ваш API-шлюз.

Ставтеся до ChatGPT як до інструменту з реальними обмеженнями, а не як до чарівного оракула. Поважайте його бюджет токенів, не спамте запитами і не чекайте, що він перепише всю вашу кодову базу за один раз. Він розумний, але не безмежний.

І навіть не думайте про те, щоб завантажити в нього всю конфігурацію вашого Kubernetes-кластера — це все одно закінчиться погано :)