Алгоритм исследования поисковиком Google страниц разных сайтов — весьма ценные данные. В том случае, если вы с ними знакомы, вам предоставляется возможность манипуляции гугловскими краулерами, определяя им периодичность посещения нужных страниц. Данная манипуляция особо значима при разговоре о новом сайте, когда изначально необходимо провести индексацию определенных разделов.

Для того, чтобы овладеть данной информацией, нами был проведен эксперимент, а в частности, мы взяли некий домен, имеющий нулевую историю и на нем сформировали страницу, на которой разместили 250 ссылок. Ссылки приводили на следующие страницы с аналогичным содержанием, и так далее. Адреса страниц и тексты ссылок получили имена от 1 и до 250, соответствуя порядку появления в исходном коде. Далее нами был осуществлен сабмит ресурса посредством службы «addurl» и принялись мы ждать.

В результате первоначального визита бот Google посетил только основную страницу. Спустя некоторое время он возвратился и прошелся по остальным 250 страницам, адреса которых были им найдены на основной странице. Создалось впечатление, что Google условно разделил все ссылки на три категории:

1. с 1 до 9;
2. с 10 до 99;
3. со 100 до 250

В случае посещения гуглботом страницы, допустимо, что он пробежится по ссылкам некоторых блоков. Обработка ссылок происходит внутри блочными порционами случайно. Вероятность посещения блока 1 в три раза больше второго и в шесть раз больше третьего. В блоке 3 имеются ссылки 100 и 200, которые имеют значительно больше шансов быть исследованными, нежели все остальные.

Это говорит о том, что нет возможности утверждать точно, что полученные в результате поиска ссылки будут рассматриваться, основываясь на их порядок расположения в коде — данное утверждение будет крайне преждевременным. В реальности же, решающим фактором является длина URL-адреса, на основании чего и происходит разбиение. Для исключения ошибок и нахождения истины было проведено еще некоторое количество экспериментов.

Ясность дало исследование посредством разбросанных в случайном порядке ссылок, имеющих URL-адреса различной длины. Данные ссылки приводят на идентичные страницы, которые содержат ссылки различной длины, которые разбросаны случайно. Согласно тестам, Googke-both проверяет все ссылки исходя из увеличения их длин. Информацией не стоит пренебрегать при сайтовой оптимизации.