Важным качеством любого контента является уникальность, обозначающая, что этот контент в виде текста или картинки в интернете публикуется не только впервые, но и создавался исключительно для этой веб-страницы. Обычно уникальный контент – это результат копирайтинга. Наличие уникального контента считается важным ключевым моментом продвижения сайта, поскольку при индексации поисковые машины довольно точно определяют, использовался ли этот текст ранее или нет на других веб-ресурсах. Если нет, то это существенно поднимает рейтинг сайта.
Определение уникальности текста осуществляется в процентах. У низкокачественной переделки, плохого рерайтинга чаще низкий процент уникальности. Для определения уникальности статьи можно воспользоваться сервисами проверки уникальности, доступными на сегодня в интернете. Проверка текста на уникальность сегодня - неотъемлемая часть индексации при наполнении сайтов. Если поисковые машины при этом обнаруживают, что часть или все тексты, размещаемые на них, - копии с других ресурсов, то относительно страниц применяется пессимизация. Исходя из этих требований, уникальность текста признается обязательным условием успешного продвижения сайтов, но, к сожалению, такое утверждение больше применимо к западным поисковикам. А вот в топах выдачи Яндекс и Рамблер еще могут оказаться площадки с «заимствованным» контентом.
Проверка уникальности текста происходит при помощи специальных алгоритмов, учитывающих законы Зипфа. Профессор-лингвист Джордж Кингсли Зипф еще в 1949 обратил внимание на эмпирические закономерности частоты слов, употребляемых в тексте, написанном естественно, на основании чего вывел два закона. В первом законе Зипфа указывалось, что производное вероятности присутствия в тексте какого-либо слова на частоту его использования будет постоянной константой. Во втором, что отношение между частотой и количеством слов, вхожих с этой частотой в текст, одинаковое.
Основываясь на этих законах, содержание страниц поисковыми системами разбивается на специальные группы. В первую входят междометия, союзы, предлоги, другие части предложений, не несущие смысловой нагрузки, и по этой причине не учитываемые. Во вторую – ключевые слова, особенно важные для ищущих информацию пользователей. Третью составляют случайные фразы. Деление текста по такому принципу называется его канонизацией. В завершении к тексту поисковыми системами применяется алгоритм шинглов (shingle – чешуйка). Суть данного метода состоит в разбиении на небольшие цепочки ключевых фраз, количество слов в цепочке определяется длиной шингла. Интересно, но каждое из последних слов цепочки является первым словом в следующем шингле, что позволяет достичь стопроцентной проверки текста.
Каждому шинглу соответствует своя определяемая контрольная сумма. Поэтому если тексты разные по своей уникальности, то и суммы не могут быть одинаковыми, а значит, сравнение шинглов помогает очень точно определить уникальность текста. Соответственно больший процент совпадений говорит о низкой уникальности. Точность данной проверки настолько высока, что можно найти полностью скопированные документы, или их частичные дубликаты. Но у алгоритма шинглов есть и недостатки. Так при анализе текста, содержащего популярные цитаты, фразеологизмы, его уникальность может оказаться низкой. По этой причине многие системы, обнаружив подобный контент, не применяют пессимизацию, воспринимая его всеобщим достоянием.
Основными источниками уникального контента являются авторские статьи или тексты, выполненные сторонними специалистами – копирайтерами, рерайтерами. Деятельность копирайтеров имеет профессиональную основу, что позволяет им создавать презентационные, рекламные и обычные информационные тексты. В основе работы рерайтеров лежит создание уникального контента при помощи изменения информации синонимизацией, перестановкой между собой абзацев, перестройкой предложений, других способов, но с сохранением начального смысла. Проверку уникальности текста можно выполнять специальными сервисами. Как и в поисковых службах, в их работе для обнаружения дубликатов используются алгоритмы шинглов. В качестве примера таких систем выступает программа Advego Plagiatus и сервис Miratools.
