Поиск сайтов поисковыми машинами происходит по определенным ключевым фразам, отдельным словам. Чтобы систематизировать поиск, применяют особые математические формулы – алгоритмы поисковых систем (ПС), с помощью которых происходит выдача в результаты поиска сайтов. Алгоритмы ПС позволяют находить сайты, в большей степени соответствующие запросам пользователей, а ненужные площадки или использующие недозволенные методы оптимизации - отсеивать.
Руководствуясь алгоритмом, поисковая машина делает анализ контента сайта на наличие в нем ключевой фразы или слова, после чего принимает решение о соответствии сайта запросам пользователя, и степени соответствия сайта для позиции в выдаче. Хотя принципы и схема большинства алгоритмов ПС схожи, например, по уникальности контента, но для каждой системы разрабатываются свои алгоритмы. Основные отличия алгоритмов - в инструментах анализа.
Если на первых порах развития интернета для поиска необходимой информации поисковым системам достаточно было самых основных параметров содержания страниц: заголовков, ключевых фраз, объемов текста, то сегодня многое изменилось. Появилась оптимизация, многочисленные способы спама, что вызвало усложнение системных алгоритмов поиска для лучшего распознавания, отсеивания сайтов, которые использовали подобные методы в качестве новых способов продвижения.
Истинный механизм поисковых алгоритмов – засекреченная информация. Кроме самих разработчиков поисковых систем, практически никому не известно, что непосредственно учитывается алгоритмами в их работе, какие факторы оказывают решающее значение. Обычно информация об их механизме работы, периодически появляющаяся в интернете, больше представляет личные выводы оптимизаторов, основой которых являются практические наблюдения за продвигаемыми сайтами. Некоторые системы, выдавая сайты по запросам поиска, кроме частоты ключевых слов, оказываются способны проанализировать информацию о наиболее запрашиваемых и популярных страницах, о времени, затраченном пользователем на их просмотр, большое значение которого указывает, что на сайте может размещаться действительно качественная информация.
Другой метод основан на определении количества ссылок, вычислении авторитетного веса площадки. Здесь учитываются такие показатели: ТИЦ, PR, ряд других, у которых механизм определения, по сути, еще один алгоритм работы поисковых систем. Общее количество параметров, задействованных в учете поисковыми алгоритмами, нередко достигает нескольких сотен. Так, системой «Google» при обработке и ранжировании сайтов во внимание берется свыше 200 факторов.
История становления алгоритмов поисковой системы Google начиналась с введения в механизм поиска индекса цитирования, ответственного за ранжирование страниц и сайтов в зависимости авторитетного веса и количества ссылок (PageRank), которые ссылались на них с других интернет ресурсов. Таким образом, постепенно весь интернет начал превращаться в подобие коллективного разума, способного определять релевантность сайтов. Внедрение подобной концепция оказалось удачным решением, благодаря которому Google стала одной из популярных поисковых систем. На начальных этапах алгоритмы Google больше внимания уделяли внутренним атрибутам страниц и только со временем добавились такие факторы, как свежесть выложенной информации, географическая принадлежность.
2000 год ознаменовался использованием алгоритма Hilltop, предложенного Кришной Бхаратом, для получения более точных расчетов PageRank. Поэтому в 2001 первоначальный механизм системы пришлось полностью переписать. После чего поисковик Google смог разделять страницы на коммерческие и некоммерческие. Для улучшения действия механизма системы ввели коэффициент, добавляющий ссылкам с авторитетных сайтов больше веса.
Одним из первых для специалистов SEO по своей сложности испытаний стало введение Google в 2003 алгоритма «Флорида». Его появление поставило под сомнение дальнейшую целесообразность использования широко распространенных на тот период способов продвижения, а также значительно проредило рейтинги поисковой выдачи, удалив из нее страницы с наличием повторяющихся анкоров или переспамленные ключевыми словами. Разработанный израильским студентом Ори Алоном в 2006 алгоритм «Орион» позволил использовать в системе улучшенный поиск за счет отображения наиболее релевантных результатов и большего внимания к качеству индексируемых сайтов.
Буквально через год, в 2007 компанией Google внедряется еще одна система фильтров и штрафных санкций, призванных улучшить работу системы – это алгоритм «Austin». Большинство из страниц, до этого занимавших первые рейтинговые места, оказались ниже на несколько позиций, после чего так и не смогли подняться выше шестого места. Еще одно серьезное изменение поисковой системы связывают с внедрением в 2009 алгоритма «Caffeine», выступившего как еще одно серьезное улучшение инфраструктуры «Google». После этого система стала индексировать больше страниц и быстрее производить поиск.
Широкие изменения алгоритмов поисковой системы Яндекса начинаются с лета 2007, после сообщения компанией Яндекс широкой общественности о внедрении новшеств в свои механизмы ранжирования. Уже в 2008 начатые тесты поискового алгоритма «Магадан», показали его способность учитывать вдвое больше факторов, нежели предыдущие версии. Дополнительно были введены новшества для улучшения распознавания аббревиатур и обработки транслита. Одновременно Яндексом началась индексация зарубежных сайтов, что увеличило конкуренцию по запросам с содержанием иностранных слов. В том же году16 мая произошел итоговый релиз «Магадана».
Появление в 2008 алгоритма «Находка», вызвало изменения в способах учета большинства факторов ранжирования, что позволило по некоторым запросам Яндекса в поисковой выдаче появляться информационным сайтам, например, Википедии. Введение в работу 10 апреля 2009 поисковой программы «Арзамас» очень серьезно отразилось на продвижении сайтов. С этого момента молодым сайтам становится сложнее занимать первые позиции в выдаче поисков и увеличивать ссылочную массу. Значительным плюсом явилось внедрение географической принадлежности, что положительно проявилось при региональном продвижении ресурсов.
Анонс нового поискового алгоритма «Снежинск» системы Яндекс состоялся в 2009, его отличительной особенностью стало внедрение новейшей технологии машинного обучения, которую разработчики назвали «Матрикснет». С этого момента контроль оптимизаторов сайтов над их продвижением снизился. Используя новую систему, Яндекс смог связать огромное количество факторов, показателей сайтов, что в результате позволило сделать ранжирование в большей степени релевантным оценкам асессоров. Изменения способов анализа содержания текстов сайта, предложенные в 2010, позволили удалять из поисковой выдачи страницы, попадающие под фильтры из-за насыщения их ключевыми словами. После чего приоритет отошел копирайтингу. Вскоре произошло анонсирование очередного апдейта системы «Матрикснет», но теперь с обязательным ежемесячным «обучением». В этом же году представители компании сообщили, что завершилась стадия тестирования нового алгоритма «Обнинск». Его появление предназначено улучшить ранжирование гео-запросов.
