Чому AI «забуває»: як працює контекст

Ти пишеш AI довгий бриф, вставляєш три документи, обговорюєш правки півгодини — і в якийсь момент модель починає плутатися. Забуває тон, який ти задав на старті. Повертає формат, від якого ти вже двічі відмовився. Знову пропонує ідею, яку ви разом відкинули двадцять реплік тому.

Звична реакція: «AI отупів», «модель мене не слухає», «та я ж тобі казав». Насправді причина технічна й дуже конкретна — ти перевантажив те, що модель бачить у момент відповіді. Anthropic (компанія, яка робить Claude) розібрала цю проблему в матеріалі Effective context engineering for AI agents. Написано для інженерів, але головна ідея працює для будь-кого, хто просто відкрив чат у браузері.

Ідея така: місце, куди ти складаєш інформацію для AI, — обмежений ресурс. І після певної точки кожен доданий абзац не допомагає, а шкодить. Це друга стаття серії «Основи AI від Anthropic»: після промпт-інженерії і перед агентами.

Контекст — це все, що модель бачить прямо зараз

Контекст (context) — це весь текст, який модель отримує в момент, коли генерує відповідь. Не лише твоє останнє питання. Туди входить: інструкція, яку ти дав на початку, вся історія переписки, вставлені документи й таблиці, файли, які ти прикріпив, описи інструментів, якими модель може користуватися.

Обсяг цього простору називають контекстним вікном (context window). Міряють його в токенах (tokens) — це шматочки слів по кілька символів. Груба орієнтація: сторінка тексту — це кілька сотень токенів, причому українською їх виходить помітно більше, ніж англійською.

Тут головне зрозуміти механіку, а не цифри. Модель не «пам'ятає» тебе між репліками, як людина. Кожна її відповідь — це нове прочитання всього вікна від початку. Тобто на 40-й репліці вона щоразу заново перечитує все, що ви наговорили, і намагається зорієнтуватися. Уяви, що перед кожним реченням ти перечитуєш увесь чат. На двадцятій сторінці твоя увага теж почне ковзати.

Чому AI «забуває»: гниття контексту

Це не метафора, а виміряний ефект. Моделі тестують на задачах типу «знайди голку в копиці сіна»: у велике полотно тексту заховують один факт і просять його дістати. Результат стабільний — чим більше токенів у вікні, тим гірше модель точно згадує потрібне.

Anthropic називає це context rot («гниття контексту»). Інформація формально нікуди не поділася, вона у вікні. Але надійний доступ до неї падає. Саме це ми відчуваємо як «AI забув».

Друга важлива деталь: це не обрив, а схил. Модель не вимикається на якомусь конкретному числі токенів — вона просто тихо стає менш точною в деталях і в далеких логічних зв'язках. Тому проблему майже не видно як помилку. Вона виглядає як «щось сьогодні відповіді слабші».

Anthropic описує це через просту аналогію:

«Як і люди, чия робоча пам'ять обмежена, великі мовні моделі мають "бюджет уваги", який витрачають, розбираючи великі обсяги контексту» — Anthropic (у моєму перекладі).

Кожен новий токен трохи цей бюджет з'їдає. Тому боротьба йде не за розмір вікна, а за те, куди спрямована увага моделі.

Правильна інформація, а не більше інформації

З цього випливає правило, яке ламає найпоширенішу інтуїцію. Ми звикли думати: дам моделі більше даних — вона краще зрозуміє. Ні. Ціль інша: найменший набір найінформативніших фрагментів, який дає потрібний результат.

Наочно. У тебе є брендбук на 40 сторінок і ти хочеш, щоб AI писав пости в голосі бренду. Спокуса — вставити весь документ. Робочий варіант — витягти одну сторінку: 5 правил тону, 3 заборонені речі, 3 реальні пости, які точно звучать «як ми». Це набагато менше тексту й набагато більше сигналу.

Те саме з прикладами. Не треба вивалювати тридцять винятків «а якщо клієнт напише отак». Дай 3–5 різних канонічних прикладів, які точно показують очікувану поведінку. Для моделі приклад — це картинка, що варта тисячі слів опису правил.

І з інструкціями є дві крайності, між якими треба тримати баланс. Занизько — жорсткий скрипт на 25 пунктів «якщо це, то те»: крихко, ламається на першому нестандартному випадку, і ти вічно його латаєш. Зависоко — гасла типу «пиши цікаво й професійно»: моделі просто нема за що зачепитися. Anthropic радить починати з мінімальної інструкції на найсильнішій доступній моделі, а деталі додавати тільки під ті провали, які ти реально побачив у результатах.

Підтягуй дані на вимогу, а не все наперед

Люди не тримають усе в голові. Ми маємо папки, закладки, інбокс — і дістаємо потрібне, коли воно потрібне. Той самий підхід працює з AI: замість завантажити все наперед, тримай короткі «посилання» й підтягуй дані порціями.

Рекрутер: не вставляй 200 резюме одним блоком. Дай критерії, прогони партіями по 15–20, зберігай короткі витяжки, а повні тексти діставай лише для фіналістів.

SMM-ник: не тягни експорт статистики за рік. Візьми зріз за потрібний період і потрібні колонки.

Підприємець: не заливай усю переписку з клієнтом. Дай короткий стан справи: хто, що домовлено, де зараз застрягли.

На практиці найкраще працює гібрид. Є маленьке постійне ядро, яке варто класти в чат одразу — хто ти, що продаєш, для кого, який тон, що заборонено. І є все інше, що дістається на вимогу.

Що робити, коли чат уже став довгим

Три прийоми, які Anthropic описує для агентів, чудово перекладаються на звичайний чат.

Компакція (compaction). Коли розмова роздулася, попроси модель зробити витяжку: які рішення ухвалені, які обмеження діють, що ще відкрите, на чому зупинилися. Перечитай, підправ — і почни новий чат із цієї витяжки. Ти зберігаєш суть і скидаєш сміття. Роби витяжку радше повнішою, ніж занадто агресивною: деталь, яка здається дрібною, іноді виявляється ключовою через дві години.

Нотатки поза чатом. Заведи один документ-пам'ять на проєкт: рішення, тон, стоп-слова, поточний статус. Це твоя постійна пам'ять, яка виживає будь-яке закриття чату. Вставляєш його на старті нової сесії — і не починаєш з нуля.

Розділяй задачі на окремі чати. Один чат — одна задача з чистого аркуша. Дослідження ринку окремо, з нього забираєш підсумок на пів сторінки й несеш у чат, де пишеш лендінг. Так «сміття» з дослідження не тисне на текст.

І найдешевший перший крок: не перетягуй у новий чат великі сирі вставки, якщо з них тобі потрібні три висновки.

Головне

• Контекст — це весь текст, який модель бачить у момент відповіді: інструкція, історія чату, вставлені файли. Кожна відповідь — це перечитування всього вікна заново.
• «AI забув» — не збій пам'яті, а context rot: чим більше токенів, тим менш надійно модель дістає з них конкретний факт. Повторювати «я ж тобі казав» не лікує.
• Деградація виглядає не як помилка, а як тихе зниження якості. Тому її легко не помітити й списати на «модель зіпсувалася».
• Ціль — не менше символів, а більше сигналу на символ: найменший набір справді потрібної інформації.
• Замість звалища винятків дай 3–5 канонічних прикладів. Замість усього документа — витяжку.
• У довгих задачах працюють три речі: витяжка й перезапуск чату, документ-пам'ять поза чатом, розбиття на окремі чати під окремі задачі.

Як застосувати це вже сьогодні

Візьми свій найдовший робочий чат. Зроби три речі: попроси витяжку по стану справ, перенеси її в новий чат, і винеси постійні правила в окремий документ. Далі просто тримай звичку — перед кожною великою вставкою питай себе, чи це справді сигнал, чи просто обсяг.

Більші контекстні вікна цю задачу не скасують. Скільки б місця не було, питання «що саме варто туди покласти» залишається твоїм. У наступній статті серії розберемо, як із цього виростають агенти — AI, який працює в циклі й сам вирішує, які дані йому дістати.