|
Энциклопедия поискового продвижения
| |
Дата: Воскресенье, 27.10.2013, 18:43 | Сообщение # 1
Трафиковое продвижение
Трафиковое продвижение увеличивает посещаемость сайта за счет продвижения по большому числу (часто - несколько тысяч) низкочастотных запросов. Помимо поисковых систем, используются внешние источники привлечения посетителей - форумы и сообщества, контекстная, баннерная и медийная реклама.
Трафиковое продвижение подходит следующим компаниям:
крупным интернет-магазинам, которые ориентированы на продажу совершенно разных видов товаров;
интернет-порталам, которые зарабатывают деньги на продаже рекламы.
Ограничения:
невозможность работы с сайтами, построенными исключительно на flash-технологиях, т.к. в этом случае срезается большая доля поискового трафика;
поскольку трафиковое продвижение использует поисковое продвижение по большому количеству запросов, требуется сайт со значительным количеством страниц;
расходы будут высокими, однако увеличение количества посетителей быстро их окупит;
на разработку и реализацию стратегии требуется несколько месяцев.
| |
Дата: Воскресенье, 27.10.2013, 18:46 | Сообщение # 2
Обзор современных поисковых систем
Исследовательская компания comScore по данным сентября 2011 года выделяет следующую пятерку популярных поисковых систем мира:
Google, обрабатывает более 118 млрд запросов в месяц (70% всех поисковых запросов);
1.
Baidu, обрабатывает 11 млрд запросов в месяц;
2.
Yahoo, обрабатывает 11 млрд запросов в месяц;
3.
Bing, обрабатывает 5 млрд запросов в месяц;
4.
Яндекс, обрабатывает свыше 3 млрд запросов в месяц.5.
Российская аудитория практически полностью распределяется между двумя поисковыми системами: Яндекс и Google. По состоянию на ноябрь 2012 года у Яндекса 51.4% рынка, у Google — 34.7%.
| |
Дата: Воскресенье, 27.10.2013, 20:23 | Сообщение # 3
История возникновения и развития Яндекса
Яндекс — крупнейшая российская поисковая система и интернет-портал. Яндекс имеет локализированные версии сервиса в России, Украине, Казахстане, Беларуси и Турции. Как и любая современная поисковая система, Яндекс предоставляет различные виды поисков – по новостям и записям в блогах, картинкам и видео, товарам и адресам, и, естественно, большой набор дополнительных сервисов, не связанных с поиском: фотоальбомы, блоги, почту и др.
Официальным днем рождения поисковой системы Яндекс считается 23 сентября 1997 года. Уже тогда система учитывала морфологию русского языка, расстояние между словами и умела ранжировать документы в соответствии с их релевантностью.
В 2011 году был внедрен уникальный метод машинного обучения «Матрикснет», благодаря которому стало возможным учитывать при поиске в разы больше факторов и их комбинаций. Таким образом, поиск стал еще более точным, что существенно улучшило качество ответов на отдельные классы запросов.
Среди современных и важных нововведений Яндекса в 2011 году эксперты отмечают:
разработку механизма различных подсказок, автоматического исправления ошибок, распознавание аббревиатур, обработку транслита;
введение геозависимости запросов, региона пользователя и принадлежности сайта к тому или иному городу;
использование поисковой технологии «Спектр», которая позволяет учитывать дополнительные потребности пользователей, если они не были явно сформулированы в запросе;
борьбу с переоптимизированными текстами, SEO-ссылками, поведенческими накрутками, неуникальным контентом;
ориентацию на пользовательские интересы по коммерческим запросам – учет поведенческих факторов.
В 2001 году был запущен сервис контекстной рекламы, впоследствии ставший основным способом заработка компании. За счет него и других разработок в 2002 году Яндекс вышел на самоокупаемость — на полгода раньше, чем планировалось. В мае 2011 года компания «Яндекс» провела первичное размещение акций на нью-йоркской бирже Nasdaq. По уровню доходов Яндекс значительно опережает все остальные российские интернет-компании.
У Яндекса есть специальные инструменты для владельцев сайтов, которые важно использовать для эффективного продвижения. Мы рассмотрим их подробно в следующих главах.
Яндекс. Метрика – сервис сбора статистики о посетителях вашего сайта.
Яндекс. Вебмастер – сервис для настройки отображения вашего сайта в результатах поиска Яндекса.
| |
Дата: Воскресенье, 27.10.2013, 20:23 | Сообщение # 4
История создания и развития компании Google
Поиск Google является мировым лидером по числу обрабатываемых запросов. Это первый в мире поисковик, который за десятилетие создал более 100 региональных версий и в некоторых странах остается единственной поисковой системой.
История Google берет начало в 1996 году в качестве поискового механизма для цифровой библиотеки Стэнфорда. Название Google было придумано Ларри Пейджем и Сергеем Брином в 1997 году. Компания была основана в 1998 году.
В настоящий момент Google – это не только поиск, но еще и более 50 сервисов, преимущественно бесплатных. Владельцам веб-сайтов крайне важны следующие инструменты:
Google Analytics – сервис, собирающий информацию о посещаемости вашего сайта;
Инструменты для веб-мастеров – сервис, позволяющий контролировать отображение вашего сайта в поиске Google и управлять им.
Подробнее эти сервисы будут рассмотрены в следующих главах.
| |
Дата: Воскресенье, 27.10.2013, 20:23 | Сообщение # 5
Другие поисковые системы
В числе поисковых систем для русскоязычной аудитории следует отметить:
Mail.ru, использующую технологию поиска Google;
Rambler.ru, который с июня 2011 года начал использовать механизмы поиска Яндекса и присоединился к его рекламной сети;
Nigma.ru, являющуюся поисковой системой с различными полезными наработками – табличным поиском, решением математических и химических задач, поиском музыкальных произведений, поиском по торрентам.
Те поисковые системы, которые перестали развиваться, постепенно заменяют свои поисковые технологии альтернативными. Так, Апорт и Rambler стали использовать поисковую технологию Яндекса, AltaVista – технологию поиска Yahoo, а он, в свою очередь, технологию Bing.
Помимо широко распространенных поисковых систем прямого назначения, существует большое количество специализированных, которые работают с тематическими запросами. Многие из них созданы для узконаправленного поиска различной медиаинформации: фильмов, музыки, фотографий и т.п.
Среди специализированных поисковых систем можно отметить недавно созданную систему Solomono.ru, осуществляющую поиск по внешним ссылкам доменов. Также к специализированным относятся следующие поисковики: Tagoo.ru – поиск исключительно бесплатной музыки, kinopoisk.ru – поиск информации о фильмах.
| |
Дата: Воскресенье, 27.10.2013, 20:23 | Сообщение # 6
Как устроены поисковые системы
Современные поисковые системы обрабатывают десятки тысяч обращений в секунду, формируя результаты из миллиардов вариантов. Давайте рассмотрим, как устроены механизмы поиска.
Поисковые системы на физическом уровне
Современная поисковая машина – это сложнейшая структура, состоящая из сотен тысяч, а в случае с Google – миллионов физических серверов. Вся информация, которая на них хранится, надежно защищена и распределена по дата-центрам по всему миру.
Еще в 1997 году обработкой запросов для пользователей Яндекса и выдачей результатов поиска занимался всего один сервер, который был слабее любого современного домашнего компьютера. Сервер располагался в кабинете одного из основателей компании. Уже к 2000 году у Яндекса было около 50 серверов. Каждый месяц число серверов увеличивалось, что со временем привело к появлению собственного дата-центра (сейчас у Яндекса их уже четыре). Современный дата-центр – это сотни серверов, объединенных в единую сеть, которые позволяют справляться с большим объемом запросов и высокой посещаемостью сервиса. Для примера, посещаемость только поиска Яндекса за сентябрь 2012 года составила 27,6 млн человек.
| |
Дата: Воскресенье, 27.10.2013, 20:24 | Сообщение # 7
Поисковые системы на логическом уровне
Когда пользователь хочет что-то найти, он вводит запрос. Его сначала обрабатывает «балансировщик нагрузки» – специализированное устройство, которое автоматически перенаправляет запрос пользователя в наименее загруженный на данный момент кластер. Это позволяет максимально эффективно использовать имеющиеся вычислительные мощности.
Затем поисковый запрос попадает в метапоиск. Эта система получает все необходимые данные и узнает, к какому типу данных запрос относится. На этом же этапе запрос проверяется на орфографию. Также система определяет, из какого региона поступил запрос и стоит ли по нему показывать региональные сайты.
| |
Дата: Воскресенье, 27.10.2013, 20:24 | Сообщение # 8
Далее метапоиск проверяет, не было ли похожего запроса к системе в последнее время. Это связано с тем, что некоторые запросы становятся очень популярными в определенные моменты (значимое событие, катастрофа или даже рекламная кампания нового продукта), а другие популярны постоянно (например, связанные с социальными сетями). Чтобы снизить нагрузку, поисковая система некоторое время хранит ответы на запросы пользователей в кэше и в случае повторных обращений показывает уже готовые результаты, вместо того чтобы формировать ответы заново.
Если при проверке не получилось найти уже готовый ответ в кэше, поисковая система начинает формирование нового ответа и запрос пользователя передается дальше, на серверы «базового поиска». Именно в базовом поиске находится индекс поисковой системы, разбитый на отдельные части и распределенный по серверам, поскольку поиск по частям всегда быстрее.
Стоит обратить внимание, что каждый сервер имеет несколько копий. Это позволяет не только защитить информацию от потери, но и распределить нагрузку. Если информация с конкретного сервера окажется слишком востребованной и один из серверов будет перегружен, проблема решится подключением копий этого сервера.
По результатам поиска каждый сервер базового поиска возвращает метапоиску результаты, связанные с запросом пользователя. Далее к работе подключается алгоритм ранжирования «Матрикснет», который и определяет, на каком месте в поисковой выдаче будет каждая конкретная ссылка.
| |
Дата: Воскресенье, 27.10.2013, 20:24 | Сообщение # 9
Процессы поисковых систем
Каждый процесс, происходящий в поисковых системах, уникален и интересен. Зная архитектуру поисковой системы, можно понимать причины "выпадения" сайта из выдачи или повышения позиций. Рассмотрим каждый процесс в отдельности.
Процесс индексации
Индексация – это процесс, во время которого поисковые роботы посещают сайты, собирая с их страниц разнообразную информацию и занося ее в специальные базы данных. Потом эти данные обрабатываются, и строится индекс – выжимка из документов. Именно по индексу поисковая система ищет и выдает ссылки на сайты, исходя из запросов пользователей.
Рассмотрим процесс индексации на примере поисковой системы Яндекс.
В поисковой системе есть 2 типа роботов: быстрый и основной. Задача основного робота – индексация всего контента, а быстрого – занесение в базы данных самой свежей информации. Планировщик поискового робота составляет маршруты посещения и передает его «пауку», который ходит по выбранным страницам и выкачивает из них информацию. Если во время индексации в документах обнаруживаются новые ссылки, они добавляются в общий список.
При первом посещении «паук» проверяет состояние ресурса. Если его характеристики подходят под требования Яндекса, сайт заносится в базу. При повторном посещении «пауком» уже проиндексированной страницы происходит обновление содержащейся на ней информации.
Документы в индекс попадают следующими способами: автоматически, когда поисковый робот сам переходит по внешним и внутренним ссылкам, ибо если владелец сайта сам добавил URL через специальную форму или через установленную на сайте Яндекс.Метрику. Этот сервис передает URL страниц на индексацию Яндексу. При необходимости в интерфейсе Метрики можно отключить данную опцию.
| |
Дата: Воскресенье, 27.10.2013, 20:25 | Сообщение # 10
Скорость индексации и обновления страниц сайта
В идеале, как только создана новая страница, она должна быть сразу же проиндексирована. Однако большие объемы информации затрудняют индексацию новых страниц и обновление старых. Роботы поисковых систем постоянно обновляют базу данных, но, чтобы она была доступна пользователям, ее необходимо переносить на «базовый поиск». База данных переносится туда не полностью. Исключаются зеркала сайтов, страницы, содержащие поисковый спам, и другие ненужные, по мнению поисковика, документы.
Глобально базы поисковых систем обновляются роботами примерно раз в неделю.
Однако для некоторых типов информации такая скорость обновления неприемлема. Примером может служить индексация новостных сайтов. Размещенные новости должны быть доступны в поисковой системе практически сразу после их добавления. Для того, чтобы увеличить скорость индексации часто обновляемых страниц, и существует специальный быстрый робот, который посещает новостные сайты несколько раз в день.
Понять, что сайт посетил быстрый робот, можно сразу по двум признакам: если в поисковой выдаче рядом с URL сайта показывается время последнего обновления и если в числе проиндексированных страниц сохранены две копии одного и того же документа.
Поисковые роботы стремятся проиндексировать как можно больше информации, однако существует ряд факторов, которые накладывают ограничения на процесс индексации. Так, например, возможность попадания в индекс напрямую зависит от авторитетности ресурса, уровня вложенности страниц, наличия файла sitemap.xml, отсутствия ошибок, мешающих нормальной скорости индексации сайта. Основными инструментами управления индексацией сайтов являются robots.txt, мета-теги, теги, атрибуты noindex и nofollow.
На сегодняшний день могут индексироваться следующие типы документов:
1. PDF, Flash (Adobe Systems).
2. DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office).
3. ODS, ODP, ODT, ODG (Open Office).
4. RTF, TXT.
Robots.txt — это текстовый файл, в котором можно задавать параметры индексирования как для всех роботов поисковых систем сразу, так и по отдельности. Тег и метатег noindex отвечают за индексацию текста или самой страницы, а nofollow – за индексацию ссылок. В одной из следующих глав мы подробно разберем настройку этих элементов сайта.
Помимо обычных текстов, размещенных на сайтах, все современные поисковые системы умеют индексировать и документы в закрытых форматах, хотя существуют некоторые ограничения на типы данных, размещенных в этих файлах. Так, в PDF индексируется только текстовое содержимое. Во flash-документе индексируется текст, который размещен только в определенных блоках, в то время как документы больше 10 Мб не индексируются вовсе.
| |
Дата: Воскресенье, 27.10.2013, 20:25 | Сообщение # 11
Роботы поисковых систем
Среди всех существующих поисковых роботов выделяют 4 основных типа:
1. Индексирующий робот;
2. Робот по изображениям;
3. Робот по зеркалам сайта;
4. Робот, проверяющий работоспособность сайта или страницы.
Определить, какой робот зашел на сайт, можно с помощью лог-файла, который обычно доступен либо в админке, либо на ftp. Все существующие роботы представляются по одной схеме, но каждый имеет свое название. Например: «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)» — основной индексирующий робот поисковой системы Яндекс.
Некоторые посторонние роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить подлинность робота с помощью идентификации, основанной на обратных DNS-запросах.
Индексирующий робот обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
Робот по изображениям заносит в индекс графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например, Яндекс.Картинки или Картинки Google.
Робот, определяющий зеркала, проверяет зеркала сайтов, прописанных в файле robots.txt. Если они идентичны, то в результатах выдачи поисковой системы будет только один сайт – главное зеркало.
Специальный робот проверяет доступность сайта, добавленного через форму «Добавить URL» в Яндекс.Вебмастере.
Существуют и другие типы индексирующих роботов: индексаторы видео и пиктограмм (иконок) сайтов; робот, проверяющий работоспособность сайтов в Яндекс.Каталоге; индексатор «быстрого» контента на площадках типа Яндекс.Новостей и др.
Важно понимать, что процесс индексации сайта является длительным, за ним следует процесс обновления индексных баз, который также требует временных затрат. Поэтому результат внесенных на сайте изменений будет виден только через 1-2 недели.
| |
Дата: Воскресенье, 27.10.2013, 20:25 | Сообщение # 12
Представление сайтов внутри поисковых систем
Для удобства обработки данных поисковая система заносит все найденные в интернете страницы в индекс, который помогает сжать их объемы для оптимального хранения. Чтобы понимать, за счет чего возможно сокращение объема информации, необходимо знать, как документ представляется в поисковой системе.
Сначала происходит очистка страницы от различных нетекстовых элементов, таких как графика, HTML-теги и т.п. В результате остается «чистый» текст для дальнейшей обработки.
Далее все слова из текста располагаются в алфавитном порядке, а все элементы, которые словами не являются (пробелы, знаки препинания и прочее), отбрасываются. При этом поисковая машина не заносит в индекс слова в той форме, в которой они приведены в тексте. С помощью алгоритма лингвистической обработки все слова приводятся к начальным грамматическим формам или основам. Это позволяет сократить место в индексе и сделать поиск более точным. Из обработанных основ составляется подобие словаря, где указывается адрес страницы и конкретное место расположения каждой основы (номер вхождения). В поисковом индексе хранятся только номера основ, а сами основы располагаются отдельно. Если на странице находится несколько вхождений одного слова, то в индексе указывается номер этой страницы и все вхождения этого слова на ней. Получается что-то вроде обратной копии всех страниц интернета. Ее называют инверсным или инвертированным индексом.
Поисковые машины сохраняют и прямой индекс. Прямой индекс представляет собой сжатую текстовую копию всех страниц интернета. Это значительно экономит время, например, при показе цитат. Сохраненная копия сайта – это страницы в прямом индексе поисковой системы.
| |
Дата: Воскресенье, 27.10.2013, 20:25 | Сообщение # 13
Процесс поиска связанной информации
Чтобы понять, что именно ищет пользователь, поисковая система проводит тщательный лингвистический анализ запроса. Сначала определяется язык, на котором был сформулирован запрос. Например, в Яндексе индикатором языка является алфавит, используемый в запросе, а также характерные особенности сочетания букв, присущие различным языковым группам.
Далее проводится работа по трактовке морфологии. Поисковая система различает не только слова из запроса во всех их морфологических формах, но и синонимы, однако при ранжировании предпочтение отдается точному вхождению.
Также поисковым системам приходится разграничивать омонимы (слова с одинаковым написанием, но разным значением). Например, одно и то же слово может быть истолковано и как глагол, и как существительное.
Определиться с наиболее вероятным списком форм помогает статистика совместной встречаемости слов и грамматических признаков. Для сбора статистики Яндекс использует национальный корпус русского языка и свои собственные корпусы, в которых собрано огромнейшее количество текстов.
Следует отметить, что все действия по лингвистическому анализу запроса поисковая система успевает осуществить за доли секунды!
| |
Дата: Воскресенье, 27.10.2013, 20:26 | Сообщение # 14
Язык поисковых запросов
В результате лингвистической обработки тот запрос, который вводит пользователь, и тот, который обрабатывается поисковой системой, сильно отличаются друг от друга
Язык, на котором сформулированы запросы к поисковым машинам, называется информационно-поисковым, или языком поисковых запросов.
Запрос [продвижение сайта] для поисковой системы выглядит так:
((продвижение::19047 ^ ((про::2793-движение::8030)) ^ продвигать::40288 ^ продвигаться::199208) &&/(-32768 32768) сайта::410).
В примере слово «продвижение» Яндекс разбивает на фрагменты. «^» означает расширение запроса дополнительными словами, цифры – расстояние между словами (в предложениях). «&&/» означает, что поиск осуществляется в пределах соседних слов.
Информационно-поисковый язык состоит из логических операторов, морфологии языка, регистра слов, префиксов обязательности, возможности учета расстояния между словами и расширенного поиска. Подобное представление запроса помогает быстрее ориентироваться в индексных базах.
Синтаксис языка поисковых запросов может изменяться в зависимости от особенностей конкретной поисковой машины. Но есть определенные правила, которые используют все. Рассмотрим наиболее распространенные из них:
команды логического объединения и исключения.
Символы «+» и «-» в запросе позволяют добавлять или исключать какие-либо слова из текста. Слово, помеченное «+», будет обязательно присутствовать в документах, которые найдет поисковая система по запросу. Слово, помеченное «-», будет отсутствовать в выдаче.
Команды «+» и «-» должны быть написаны слитно со словом, к которому они относятся. В противном случае поисковая машина начнет рассматривать их как элементы запроса, а не как команды.
«логическое И» (обозначается как амперсанд (&)).
Позволяет перечислить слова, которые обязательно должны встречаться в пределах одного предложения в искомом документе.
«логическое ИЛИ» (обозначается символом «|»).
Дает возможность осуществлять поиск по документам, в тексте которых присутствует только одно из перечисленных слов.
Если правило необходимо распространить не только на одно предложение, но и на весь документ, используется удвоение команды. Чтобы применить несколько команд в одном запросе, следует использовать символы открывающей и закрывающей скобки. Допускается комбинирование логических операторов и без использования скобок.
Также поисковые системы могут производить поиск по точному вхождению. Для этого используются кавычки.
Как правило, поисковые системы учитывают все словоформы исходного запроса согласно правилам русского языка. Поэтому в выдаче можно увидеть документы, в которых встречаются не только точные вхождения запроса, но и различные его формы. Для того чтобы осуществить поиск точной словоформы по правилам языка запросов Яндекса, перед запросом необходимо поставить восклицательный знак. Если запрос состоит из 2 и более слов, можно использовать уже знакомые нам кавычки или поставить «!» перед скобками, в которых заключена фраза.
Скопируйте какую-либо фразу с вашего сайта, введите ее в поисковую строку Яндекса или Google в кавычках и проверьте, дублирует ли кто-то вашу информацию.
Меняя местами слова в тексте запроса, можно заметить следующее: если слова располагаются в разных предложениях, в одном случае поисковая система не считает страницу со всеми словами в тексте релевантной запросу, а в другом случае считает. Расположение ключевых слов в тексте можно оценить, посмотрев сохраненную копию страницы из поисковой выдачи Яндекса. В ней подсвечиваются все учитывающиеся ключевики. Также Яндекс подсвечивает ключевые слова в сниппетах и заголовках страниц.
Поисковые системы постоянно развиваются и, конечно, не ограничиваются поиском только по словам из запроса. Чтобы учесть все возможные варианты ответа на запрос пользователя, Яндекс расширяет исходный текст, введенный в строку поиска. Он добавляет другие формулировки с тем же значением и ведет поиск уже по новому запросу.
Используя язык запросов поисковой системы, можно находить необходимую информацию за максимально короткое время. Знание языка поисковых запросов также дает возможность анализировать выдачу с различных сторон. Это помогает написать текст, который будет влиять на позиции и станет интересен пользователям.
| |
|
|
