Что означает N-грамма простыми словами
При анализе слов униграмма содержит один токен, биграмма — два соседних, триграмма — три. Размер окна определяет, сколько локального контекста сохраняется. Чем больше N, тем точнее сочетание, но тем реже оно встречается и тем сильнее зависит от конкретной формулировки.
Отдельные слова теряют связи: «ремонт без выезда» и «ремонт с выездом» могут иметь похожие униграммы. Биграммы и триграммы показывают устойчивые фразы и помогают находить шаблонные повторы, минус-фразы и реальные формулировки спроса.
Пример
В строке «аудит рекламной кампании» есть три униграммы, две словесные биграммы — «аудит рекламной» и «рекламной кампании» — и одна триграмма из всей фразы.
Как применять на практике
- Определите элемент анализа: слова или символы, и одинаково токенизируйте весь корпус.
- Начните с униграмм для обзора, затем используйте биграммы и триграммы для контекста.
- Открывайте исходные строки для частых сочетаний, прежде чем менять текст или запросы.
Частые ошибки
- Сравнивать символьные и словесные N-граммы как один показатель.
- Удалять стоп-слова, которые образуют значимые сочетания «с доставкой» и «без доставки».
- Использовать слишком большое N на маленьком корпусе и получать почти только единичные фразы.