Тонкости AI - не смешивайте языки в LLM

Материал подготовлен на основе публикации Telegram-канала IT PATENT от 05.02.2025.

Для ЛЛ: никогда не смешивайте файлы/данные на одном языке, а запросы на другом - LLM начинает сильно галлюцинировать.

Некоторое время назад я стал использовать AI для рутинных задач. Например, у меня есть счет от поверенных США за продление патента в ряде стран. Формат счета Renewal Payments Title: Application of ... Client Ref #: End Client: PA*** LLC Application No: 1482*** Grant No: EP30** CC: IT Due Date: 07/31/23 Annuity: 10 Currency: USD Official Fee: 276.45 Surcharge Fee: 120.19 Agent Fee: 200.00 Rush Fee: 0 Service Fee: 45.00 Мне нужно извлечь перечень стран, чтобы вставить в договор. Вручную это делается долго, так как нужно либо помнить все эти двухбуквенные коды, либо гуглить. Такие штуки я люблю тестировать на AI. Я был наивен - закинул файл в ChatGPT, написал запрос...🤓 В файле есть таблица, в строке которой есть указание "CC:" А далее двухбуквенный код страны. Найди все страны, указанные в файле, и напиши их названия на русском языке в формате: Страна1, Страна2, Страна3... ChatGPT заурчал и выдал мне ответ. Сначала он мне даже понравился. Но с каждым новым взглядом я понимал, что что-то не так... В списке появились страны, которых точно нет в расчете! Я делал итерацию за итерацией, уточняя запрос. Заставлял GPT перепроверять себя. Но он на голубом глазу твердил, что у меня есть продление патента в Северной Македонии. Путем уточнений я понял, что он Северную Македонию воспринимает как Хорватию. И тут у меня сложился паззл...🤯 Я уже попадался ранее в такую ловушку. Она связана с тем, что файл на английском, а запросы мои на русском. Это заставляет галлюцинировать модель. Я так долго искал ошибки в автоматизации КП для заявок по Мадриду, где нужно было считать пошлины за продление в странах с учетом классов МКТУ. Переделав же запрос на английский, GPT выдал корректный ответ сразу. Но как только я добавил в инструкцию Translate it into Russian все снова поплыло🫠 Нормально заработало только разделив ответ и перевод на два промпта. Коллеги, автоматизируете рутинную деятельность с помощью GPT?