Статистические органы США стали активно использовать приём ухудшения старых данных для демонстрации текущих позитивных тенденций.

Это, к слову, тоже очень показательная тенденция, которая ни о чём хорошем не говорит.

Отметим ещё, что слово «рецессия» совершенно не подходит для описания реальности,
в США уже почти три года идёт структурный кризис с темпами спада примерно 0.5% в месяц....

Byte Pair Encoding (BPE) — это алгоритм для токенизации текста, который изначально был разработан для сжатия данных, но в последние годы стал популярным в области обработки естественного языка (NLP) для создания подсловных токенов. Вот как он работает и какие его основные характеристики:

Основные этапы алгоритма BPE:

1. Инициализация:

   • Начинаем с набора символов (например, букв) и считаем частоту каждого символа в тексте.

2. Поиск пар символов:

   • На каждом шаге алгоритм ищет наиболее часто встречающуюся пару соседних символов. Например, в словах «low», «lower» и «new» пара «lo» может быть наиболее частой.

3. Замена пар:

   • Самая частая пара символов заменяется новым токеном, который представляет эту пару. Это создаёт новый «словарь» токенов, который включает как отдельные символы, так и новые пары.
   • Например, пара «lo» может быть заменена на новый токен «X».

4. Повторение:

   • Процесс повторяется: после каждой замены снова вычисляется частота всех пар символов, и процесс продолжается до достижения заранее определённого количества токенов или до тех пор, пока не останется только один токен.

5. Финальная токенизация:

   • После завершения процесса BPE текст может быть разбит на токены, которые могут быть как одиночными символами, так и созданными подсловами.

Преимущества BPE:

• Сокращение размера словаря: Вместо того чтобы хранить каждое слово отдельно, BPE позволяет сохранять комбинации символов, что уменьшает размер словаря.
• Справление с редкими словами: BPE позволяет разбивать редкие слова на более частые подслова, что улучшает обработку таких слов в языковых моделях.
• Контекстуальная осведомлённость: Позволяет модели лучше понимать морфологию слов, что особенно полезно для языков с богатой морфологией.

Недостатки BPE:

• Неоптимальная длина токенов: В некоторых случаях BPE может создавать слишком длинные токены, что может увеличить вычислительные затраты.
• Потеря контекста: Если слишком много подслов, это может привести к искажению значения оригинальных слов.

BPE широко используется в современных языковых моделях, таких как GPT и BERT, для повышения качества обработки текста и улучшения результатов в задачах NLP.

smart-lab.ru/profile/Fogel/