Шингл
Шингл — последовательность определенного количества слов, используемая в алгоритме проверки текста на уникальность. Уникальность текста в интернете определяется путем сравнения нового текста с уже проиндексированными поисковыми системами текстами. Алгоритм проверки уникальности текста через поиск дубликатов отдельных его частей называется алгоритмом шинглов. Идею об этом алгоритме впервые высказал Уди Мандер, а довел до логического завершения Андрей Бродер, сотрудник «Yahoo!».
При определении уникальности происходит следующее:
- Канонизация текста — очистка текста от элементов, не несущих смысловой нагрузки. Из текста удаляются предлоги, союзы, html-разметка, знаки препинания и другие элементы с возможным (но необязательным) приведением слов к именительному падежу единственного числа.
- Разбиение текста на шинглы — текст разбивается на последовательности, состоящие из определенного количества слов, при этом конец каждого шингла является началом предыдущего. Шингл характеризуется размером: минимальный шингл включает в себя 3 слова, максимальный — 10. Оптимальной считается величина, лежащая посередине между этими значениями, поскольку крайние значения приведут к искаженным результатам.
- Вычисление хэшей шинглов — на этом этапе начинается сравнение текстов. Однако точность сравнения напрямую зависит от количества операций: это достаточно ресурсоёмкий процесс. В какой-то момент сравнение текстов может критично сказаться на производительности, поэтому принцип алгоритма шинглов заключается в сравнении контрольных сумм случайной выборки шинглов (подпоследовательностей) двух текстов между собой.
- Определение результата — на основании сравнения выводится результат, свидетельствующий об уникальности нового текста. Результат публикуется в процентах: 100% — полностью уникальный текст, 0% — полностью неуникальный, то есть такой текст уже присутствует в сети.
Для увеличения уникальности неоригинального текста, как правило, используются следующие приемы:
- замена синонимами отдельных слов;
- изменение словоформ;
- перестановка отдельных слов в предложении;
- изменение структуры отдельных предложений без изменений слов.
Такие приемы позволяют повысить уникальность текста, но не его качество.
