Что означает Униграмма простыми словами
Список униграмм показывает, какие отдельные элементы встречаются в корпусе и сколько раз. Перед подсчётом решают, приводить ли слова к леммам, учитывать ли регистр, числа и стоп-слова. Униграмма не хранит порядок и соседство, поэтому одинаковый набор может встречаться в противоположных высказываниях.
Однословная частота быстро показывает словарь страницы и явные повторения. Она подходит для первичного обзора, но не различает «можно вернуть» и «нельзя вернуть» без просмотра сочетаний и исходного предложения.
Пример
В ста поисковых запросах слово «доставка» встречается 38 раз. Этот факт показывает распространённость темы, но только биграммы раскрывают, спрашивают ли люди о сроке, цене или отсутствии доставки.
Как применять на практике
- Зафиксируйте правила регистра, пунктуации, чисел и нормализации перед подсчётом.
- Отсортируйте униграммы по частоте и отделите служебные слова от предметных.
- Для важных слов откройте биграммы и полные строки, чтобы восстановить смысл.
Частые ошибки
- Считать разные словоформы одной униграммой без явной лемматизации.
- Делать вывод об интенте по одному частому слову.
- Удалять все стоп-слова и терять отрицания, предлоги направления и условия.