Ще хвилину тому ChatGPT генерував класний текст, аналізував, радив та навіть жартував. А тепер завис, зупинився на півслові. На будь-яке питання відповідає: «На жаль, я не можу цього зробити» чи «Я не маю можливості здійснювати такі дії» або «Я не маю доступу до цієї інформації.»

Наче він людина, що втомилася або його дістали.

Причина не у втомі чи роздратованості (у ШІ немає емоцій). А в технічних обмеженнях, які закладені в саму архітектуру моделі. Головні з них — контекстне вікно та ліміт токенів.

Що таке токен та контекстне вікно

Токен — це умовна «цеглинка» тексту. Для ChatGPT токеном може бути слово, частина слова або навіть розділовий знак. Наприклад:

  • слово «кіт» — це один токен;
  • але слово «користувач» — рахується як два токени (корист + увач);
  • фраза «Привіт, як справи?» — це п’ять токенів;
  • гарна новина: зображення — 0 токенів.

Контекстне вікно — це уявна «пам’ять» моделі, в яку поміщається обмежена кількість токенів. Така собі «шухляда» в яку все не влазить. У цьому вікні ChatGPT зберігає історію про вас, інструкції, відповіді та сам поточний запит.

Читайте також: Топ-5 інструментів ШІ для копірайтера

Що відбувається, коли ChatGPT поводиться дивно

Коли ChatGPT поводиться дивно, скоріш за все, контекстне вікно переповнилося. Простими словами, в нього закінчилося місце, щоб «пам’ятати» все, про що ви говорили до цього моменту.

Модель пам’ятає кожну вашу фразу, запитання і свою відповідь. Як тільки місце закінчується — нова інформація витісняє стару. З’являється новий блок, а найстаріший автоматично «випадає». ШІ вже його не бачить. Він просто не знає, що ви про це вже говорили — і може суперечити сам собі або почати все з нуля.

Початковий стан

Додаэться нове

Що выдбувається

Читайте також: Генерація зображень у ChatGPT стала доступна усім користувачам – кейси для бізнесу

Як це виглядає у реальних розмовах

Уявіть що ви вже 20 хвилин спілкуєтесь з ChatGPT і кожна відповідь — довга та детальна. Коли ви доходите до 60-ї репліки, ШІ раптом починає плутатись або «забуває», що було 10 хвилин тому. Швидше за все, вікно заповнилося — нові токени витіснили старі, і модель більше не має доступу до попередньої частини розмови.

На скріні нижче ChatGPT не може назвати точну кількість текстів, які я надала йому для аналізу. Насправді він отримав 10 текстів.

Промт

Або інша ситуація: ви додаєте великий шматок тексту (наприклад, дві сторінки А4), просите ШІ проаналізувати. У відповідь отримуєте: «Занадто великий обсяг» або повне зависання. Це теж через ліміт токенів.

Скільки токенів «пам'ятає» ChatGPT

  • GPT-3.5 — до 4 096 токенів (приблизно 3 сторінки A4 тексту); Джерело Microsoft Learn
  • GPT-4 (звичайний) — до 8 192 токенів (до 6 сторінок A4); Джерело OpenAI
  • GPT-4 Turbo — до 128 000 токенів (приблизно 100 сторінок тексту!), але його використовують лише окремі сервіси або API. Джерело OpenAI

Читайте також: Як ранжуватися в ChatGPT: оптимізація контенту для генеративного пошуку

Як зрозуміти, що контекстне вікно переповнене

  • ChatGPT забуває, що ви вже обговорювали.
  • Відповіді стають короткими або беззмістовними.
  • Модель суперечить собі або починає з нуля.
  • З’являється фраза типу: «Обсяг запиту занадто великий».
  • ШІ «висне» на довгому тексті.

Читайте також: Як використовувати штучний інтелект для підготовки до співбесіди

Що робити, коли ChatGPT зависає

  1. Розбийте розмову на частини. Якщо текст об'ємний — подавайте частинами. Спочатку дайте перший шматок і пропишіть: «це частина 1 з 3, просто прочитай». Потім — частина 2, потім 3. І лише після цього — запит.
  2. Почніть новий чат. Якщо ChatGPT вже забув, що було на початку, або відповідає плутано — створіть нову сесію. У кожному новому чаті контекстне вікно чисте.
  3. Самостійно підсумуйте ключові аспекти. Якщо розмова довга — самостійно підсумуйте ключове. Наприклад: «Ми вже вирішили, що аудиторія junior-розробники, пояснення мають бути простими й з прикладами».
  4. Попросіть ChatGPT створити резюме вашого діалогу. Якщо діалог заплутаний — напишіть: «Стисло підсумуй усе, про що ми говорили». Перевірте, чи резюме відповідає дійсності, за потреби уточніть. Скопіюйте текст і вставте в новий чат. ШІ отримає стисле резюме без зайвого.
  5. Зменшуйте обсяг відповіді. Просіть відповідати коротше: «Стисло, в одному абзаці», «Пунктами», «Лише факти».
  6. Пишіть простіше. Запити не обов’язково мають звучати, як формальне звернення. Чим пряміше сформульована думка, тим точніше GPT зреагує. Наприклад, замість: «Чи не міг би ти, будь ласка, допомогти мені з ідеями для банера?», краще: «Дай 3 ідеї для банера про знижки на меблі».
  7. Можете не вітатися. «Привіт», «Дякую» — приємно, але GPT теж рахує це як токени. Якщо діалог довгий, краще залишити ввічливість для реальних людей.

Читайте також: Як спілкуватися з Chat GPT на максимум

Підсумок

Чат GPT не втомлюється і не дратується — він просто обмежений у пам’яті. Якщо ШІ поводиться дивно, швидше за все, контекстне вікно заповнене. Це нормальна технічна особливість, і з нею можна працювати.