Что означает TF-IDF простыми словами
TF показывает, насколько заметен термин внутри документа, а IDF уменьшает вес слов, встречающихся почти повсюду. Формулы нормализации отличаются между инструментами, поэтому два сервиса могут дать разные числа. Результат всегда зависит от корпуса сравнения: слово может быть редким в общей коллекции и обычным среди страниц одной тематики.
TF-IDF помогает увидеть отличительные слова и сравнить тематические документы, но не показывает истинную формулу поисковой системы. Попытка довести все веса до среднего конкурентов превращает анализ в копирование и не гарантирует полноту ответа.
Формула и расчёт
TF-IDF(t, d) = TF(t, d) × IDF(t)TF отражает частоту термина t в документе d, а IDF — обратную распространённость термина по коллекции. Конкретные варианты логарифмов и нормализации различаются.
Пример
Слово «доставка» встречается в большинстве страниц магазинов и получает невысокий IDF. Название редкой технологии встречается в небольшом числе документов и при достаточной частоте внутри статьи получает больший отличительный вес.
Как применять на практике
- Зафиксируйте корпус сравнения и формулу инструмента до интерпретации значений.
- Используйте отклонения как повод проверить пропущенную подтему, а не как норму повторов.
- После изменения перечитайте текст и убедитесь, что новый термин объяснён и нужен читателю.
Частые ошибки
- Называть TF-IDF фактором ранжирования только потому, что метод используется в информационном поиске.
- Сравнивать числа из сервисов с разной коллекцией и нормализацией.
- Добавлять слова до целевого веса без нового смысла и получать переспам.