Как и обещал, выкладываю черновой вариант первой лекции (в финальном варианте все должно быть намного лучше IMHO). Кто хочет, может в каментах покритиковать (я думаю что поводы есть). Специально отмечаю, что курс описывает только самые основы, так что никаких "спаленных тем" здесь нет. Хотя указано, где копать.

Лекция 1. Цели продвижения сайтов. Устройство и принципы работы поисковых машин.

Сегодня мы приступаем к изучению ускоренного курса основ продвижения сайтов в сети Интернет.

Однако перед тем, как изучать техническую сторону дела, давайте немножко поднимемся надо всем этим, и уясним для себя некоторые очень важные вещи. Без них вы просто не увидите "леса за деревьями".

Цели продвижения сайтов

Зачем вообще люди продвигают сайты в Интернет? Цели бывают разные, но если мы будем подходить к вопросу по-взрослому, то всё сведется к одному - заработать денег. Да, есть какие-то домашние странички, некоммерческие сайты и прочая чушь. Но нас с вами в контексте данного курса интересует именно вопрос получения дохода от продвигаемого вебсайта. Так вот, деньги в основном зарабатываются на:

а) продаже своих услуг или товаров
б) продаже чужих услуг или товаров
в) продаже рекламы

На данный момент большинство оптимизаторов зарабатывает деньги классическим способом - сайт выводится по нужным запросам в первую десятку выдачи нужных поисковых систем (как правило, для русскоязычного сектора, рунета, интернет это Яндекс и Google, для англоязычного сектора, буржунета, это Google, Yahoo и Live). Затем люди, которые ищут по данным запросам, видят сайты в выдаче на первой странице и переходят на них, совершая покупки (или кликая по рекламе, или делая другие вещи), тем самым принося оптимизатору (и его клиенту) доход.

Но не стоит думать, что нахождение в первых строчках выдачи поисковиков - это и есть та заветная цель, к которой надо стремиться ради получения прибыли по одной из вышеуказанных схем. Скажу следующее - тот, кто будет делать главный упор ТОЛЬКО на попадание в топ10 выдачи, в один прекрасный день может сильно пожалеть. Одна серьезная смена алгоритма ранжирования - и ваш сайт вместо нахождения в топе оказывается в ж... совершенно другом месте. Что влечет за собою полнейший крах бизнеса в связи с отсутствием поискового траффика, на который делалась основная ставка в ущерб всему остальному.

Чтобы этого не произошло, запомните:

ЦЕЛЬ ПРОДВИЖЕНИЯ САЙТА - ПРИВЛЕЧЕНИЕ ЦЕЛЕВОГО ТРАФФИКА ВСЕМИ ЛЕГАЛЬНЫМИ (а порою и НЕлегальными) МЕТОДАМИ, И КОНВЕРТАЦИЯ ЭТОГО ТРАФФИКА СОГЛАСНО НАМЕЧЕННОЙ ЦЕЛИ.

Всё понятно? Ваша задача - привлечь на сайт траффик, и превратить его в деньги. А то, каким образом вы добудете посетителей - будь то поисковый траффик, платная реклама, баннеропоказы, ссылки, интересные новости и прочее - это уже вопрос выбора, в зависимости от имеющегося бюджета и бизнес-плана. Большинство методов добычи траффика и методов его конвертации будут рассмотрены в следующих лекциях.

Не вся SEO-информация одинаково полезна.

Теперь еще пара важных вещей. Поскольку алгоритмы поисковых машин постоянно меняются, специалист по продвижению должен оперативно всё это отслеживать и подстраиваться под новые правила игры. SEO-информация быстро устаревает.
Так как поисковики держат свои алгоритмы в секрете, то сеошник действует подобно тестировщику - имеется "черный ящик" (поисковая система), на вход которой подаются какие-то данные, и в результате мы что-то имеем на выходе. Затем полученные результаты анализируются, таким образом мы пытаемся "дешифровать" алгоритм поисковика.

Проблема заключается в том, что каждый интерпретирует эти результаты по-своему. Иногда люди вообще начинают придумывать что-то "от балды" - ведь проверять-то некому. В итоге мы имеем множество мнений, от подробно аргументированных исследований до совершеннейшего бреда. Да и вообще, большинство сеошников весьма неохотно делится секретами ремесла во всех подробностях. Ваша задача - научиться отсеивать чушь и извлекать для себя только полезную информацию. К сожалению, четких инструкций по этому поводу дать невозможно. Вот лишь несколько общих моментов:

1) проверяйте, подкреплена ли информация какими-то практическими фактами
2) подумайте, не является ли статья дезинформацией, предназначенной для того чтобы сбить вас с толку и скрыть какой-то секрет
3) проверьте, не впаривают ли вам какой-то продукт под видом "бесплатной консультации"
4) проверьте, не является ли информация безнадежно устаревшей, и как следствие - неактуальной
5) и последнее, помните - никто НЕ заинтересован снабдить вас исчерпывающей информацией по SEO

То, что сейчас рассказываю я - на время курса примем за аксиому; но в дальнейшем, когда у вас появится собственный опыт - вы сможете это переосмыслить по-своему, и составить собственное мнение по каждому вопросу. И далеко не факт, что оно будет совпадать с моим. :-)

Теперь, после всех необходимых пояснений - можно приступать к технической стороне вопроса.

Принципы работы поисковых машин

Крупные поисковые машины, будь то Google, Яндекс или прочие, работают по приблизительно одинаковой схеме. Основное различие наблюдается в алгоритме ранжирования страниц (то, как поисковик определяет, какая страница будет наиболее релевантна определенному запросу). Именно это различие и составляет главную "изюминку" поисковика. Благодаря своему отличному алгоритму поиска Google уже давно занимает позицию мирового лидера с серьезным отрывом от остальных поисковиков. В русскоязычном секторе интернета (т.н. рунете) пока что доминирует Яндекс, но Google активно его теснит, и возможно в скором времени выиграет эту схватку.

Не будем углубляться в ненужные детали, поэтому для нас с вами поисковик будет состоять из трех частей:

1) поисковый робот (краулер, спайдер)
2) индекс
3) интерфейс

Поисковый робот

Спайдер, как следует из его названия ("spider" по-английски "паук"), перемещается по "паутине" веб-страниц, связанных между собою гиперссылками. По пути он индексирует страницы (добавляя их в индекс поисковой системы). В ходе индексирования он придерживается определенных правил. Например, чем чаще сайт обновляется - тем чаще туда приходит спайдер, чтобы вовремя проиндексировать новые страницы. Крупный новостной ресурс может индексироваться раз в 10 минут, форум - несколько раз в день, обычный редко обновляемый сайт - пару раз в месяц.

В процессе индексирования страницы нумеруются, затем из них извлекается весь ненужный код и оставляется только текстовая информация. Потом из оставшегося текста берутся слова и помещаются в индекс поисковика, причем каждое слово снабжается информацией, с какой страницы оно взято.
Когда поисковый бот приходит на сайт, вначале он должен проверить наличие файла robots.txt, в котором указаны инструкции - какие части сайта можно индексировать, а какие нельзя. Такие инструкции могут задаваться для всех ботов сразу, или для некоторых ботов отдельно. Правда, не все роботы подчиняются этим инструкциям. Более подробно правила составления файла robots.txt можно прочесть тут - http://www.robotstxt.org/. Кроме того, на этом сайте можно найти исчерпывающую информацию по всем аспектам, касающимся поисковых роботов.

Проверить, что поисковый робот увидит на конкретной странице, можно при помощи имитатора поискового робота, расположенного по адресу http://www.webconfs.com/search-engine-spider-simulator.php.

Раньше поисковые роботы не исполняли имеющийся на странице JavaScript код, не индексировали Flash и т.п. Сейчас в этом направлении ведутся определенные работы, есть сведения что некоторые боты уже выполняют JavaScript, плюс многие поисковики индексируют Flash (извлекают текст, находящийся во флеш-документе), PDF, файлы Microsoft Office. Однако, если вы хотите, чтобы сайт был более SEO-friendly, избегайте навигации на JavaScript, Flash, а также откажитесь от использования фреймов.

Поисковые роботы обычно имеют собственные значения IP и UserAgent, хотя бывает и так, что они могут "маскироваться" под обычных пользователей. Проверить, какие боты посещали сайт, можно, проанализировав access логи сервера.

Индекс

Индекс - это хранилище, куда добавляется проиндексированная спайдером информация. Добавим, что при извлечении текста из веб-страницы поисковик производит с ним различные дополнительные манипуляции. У каждого поисковика свои правила насчет того, что считать словом - например, рассматривать ли слово с дефисом как одно целое или два отдельных слова. А также что нужно пропустить - пробелы, знаки препинания, другие спецсимволы и т.п. Затем, когда выбранный текст уже разбит на отдельные слова, они подвергаются лингвистической обработке - приводятся к своим начальным формам (основам), например "дома"->"дом". Это делается для экономии места в индексе и более точного поиска.

Потом, как уже упоминалось, каждому слову присваивается информация, с какой страницы оно взято, и на каких местах на этой странице оно находилось. Это довольно упрощенная модель (на самом деле используется более сложный алгоритм, но для понимания сути и этого достаточно).

Из вышеописанного видно, что если в поиске по бумажной книге мы идем от страницы к словам, то здесь все наоборот - поисковик идет от слов к страницам. Поэтому такой индекс называется обратным, инвертированным (reverse index).

Обратный индекс используется для поиска. А для подсвечивания цитат в выдаче и для просмотра сохраненных копий страниц у поисковиков есть еще один, т.н. прямой индекс. Он представляет собой упакованные и сжатые тексты веб-страниц, также очищенные от лишнего HTML-кода и графики. Грубо говоря - это текстовая копия всего интернета.

Интерфейс

Когда пользователь вводит запрос, поисковик может привести введенные слова к их начальным формам, а затем обратиться к инвертированному индексу и извлечь наиболее релевантные, по его мнению, результаты. Попробуйте, например, ввести в Google запрос "плавать". На первой странице выдачи вы, скорее всего, увидите подсвеченным не только "плавать", но также и "плавание", "плавания" - т.е. поисковик выбрал схожие слова, происходящие из одной основы.

Для повышения релевантности поиска ключевые поисковики стараются отслеживать действия пользователей, и на их основе вносить определенные изменения в результаты выдачи. Для этого у них есть тулбары (типа Google Toolbar или Яндекс Бар) и другие системы, вроде Google Search History, следящие за историей поиска. Например, если система видит, что некая страница находится на первом месте по какому-то запросу, но на нее почти никто не заходит, или же её посетители быстро нажимают кнопку "Back" в браузере - значит, что-то с этой страницей не так, и ее нужно немедленно понизить в выдаче (а то и проверить вручную, и при необходимости удалить из индекса вообще).

Теперь еще немного дополнительных деталей.

Датацентры.

У крупных поисковиков вроде Google/Yahoo имеется множество датацентров, расположенных по всему миру, с целью более быстрого доступа к поиску из любой точки сети (хотя например у Яндекса на данный момент всего 4 датацентра - это может дать вам некоторое представление о разнице масштабов рунета и буржунета). Поэтому обычно при поиске вы будете получать результаты из ближайшего датацентра.

Апдейты.

Поисковые системы регулярно обновляют свои алгоритмы (причем все чаще и чаще, на данный момент эта частота составляет примерно несколько раз в месяц). Если вы что-то изменили на своем сайте, или например проставили на него дополнительные ссылки - это учтется поисковиком не в тот же день, а после апдейта (англ. update - обновление), когда произойдет переучет всех факторов. Так что если вы заметили, что сайт резко поднялся (или упал) в выдаче на несколько позиций - это, скорее всего, результат апдейта. Данные о смене алгоритма расходятся по датацентрам постепенно, так что во время апдейта один датацентр может показывать уже обновленные данные - а другой еще старые.

Фильтры. Спам-репорты.

Если сайт нарушает правила поисковой системы (например, использует запрещенные трюки для того, чтобы пробиться повыше в выдаче), поисковик может его пенализировать - искусственно понизить позиции такого сайта, или забанить - исключить сайт из индекса и запретить его индексирование поисковым роботом. Фильтр - это набор определенных условий, при которых алгоритм поисковика автоматически пенализирует сайт. Забегая вперед, скажу - о некоторых фильтрах Google можно прочесть здесь (http://www.webmastermydomain.com/GoogleFilters.pdf), небольшое рассуждение о фильтрах Яндекса - (http://miku.ws/20070614/mysli-o-filtrax-yandeksa/)

Кроме того, сайты могут быть пенализированы или забанены вручную работником техсаппорта поисковика, либо в результате самостоятельного исследования, либо в результате чьего-то доноса (спам-репорта). Каждый поисковик имеет специальную форму, посредством которой желающие могут обратить внимание поисковика на сайты, нарушающие правила.

Адреса форм спам-репортов:
· Google – http://www.google.com/contact/spamreport.html
· Yahoo – http://help.yahoo.com/fast/help/us/ysearch/cgi_reportsearchspam
· Live(бывший MSN) – http://feedback.live.com/eform.aspx?productkey=wlsearchweb&page=wlfeedback_home_form
· Яндекс – http://webmaster.yandex.ru/delspam.xml
· Рамблер – http://www.rambler.ru/doc/feedback.shtml
· Апорт – http://www.rol.ru/cgi-bin/fb/fb.cgi?p=aport

На чем зарабатывают поисковики

Выдача поисковика состоит из двух частей:
- натуральные результаты (organic results), это собственно то, что поисковик выдает нам по запросу.
- оплаченные результаты (paid results), это реклама - если посетитель кликает на нее, то рекламодатель выплачивает поисковику определенную сумму денег за каждый клик. Такая реклама называется PPC (Pay-Per-Click). Немного позже мы детально ознакомимся с принципами работы PPC.

Основным источником дохода для поисковиков является PPC-реклама в результатах выдачи, а также контекстная реклама. Поэтому поисковики стараются делать свой алгоритм как можно более релевантным - иначе люди перестанут ими пользоваться. Кроме того, свято блюдется правило - места в натуральной выдаче не продаются ни за какие деньги. Иначе репутации поисковика (а с нею и потоку посетителей, и приносимым ими деньгам) придет конец.

Правило золотого треугольника

Наблюдая за поведением серферов, просматривающих результаты выдачи поисковика - исследователи пришли к выводу, что большинство внимания (и соответственно кликов), сконцентрировано в левом верхнем углу страницы выдачи - там, где находятся первые 3-4 позиции. Кроме того, из приведенной ниже иллюстрации видно, что пользователи вначале просматривают натуральную выдачу, а платная реклама получает лишь жалкие крохи по сравнению с первыми позициями натуральной выдачи. Видно, что поисковый траффик из натуральной выдачи может принести огромное количество посетителей на ваш сайт, особенно если вы находитесь в топе или близко к нему. Хотя бывает и так, что количество поисков по нужному нам запросу настолько мало (а конкуренция наоборот, велика) - что выгоднее купить платную рекламу, чем вкладывать средства в продвижение сайта в топ выдачи.



Список полезных ресурсов.

Как я говорил в начале, толковый оптимизатор обязан самостоятельно отслеживать и анализировать информацию. Для этого нужно "вариться" в соответствующей среде, читать тематические информационные ресурсы по SEO. Вот список основных сайтов, где вы можете почерпнуть для себя полезную информацию:
Патенты Google (http://www.arnoldit.com/lists/google-patents.asp) - здесь находится очень много информации, которая помогает понять принципы работы алгоритмов Google.

SEO-форумы
Рунет:
http://forum.searchengines.ru
http://mastertalk.ru
http://seochase.com
Буржунет:
http://forums.digitalpoint.com
http://forums.seochat.com/
http://www.webworkshop.net/seoforum/index.php
http://www.v7n.com/forums/
Список других форумов буржунета - http://www.seroundtable.com/forums.html

Информационные SEO-порталы:
Рунет:
http://searchengines.ru
http://seonews.ru
Буржунет:
http://searchengineland.com/
http://searchenginewatch.com/
http://www.seroundtable.com/

Список SEO-блогов рунета - http://blograte.ru/category/id/1/
Cписок SEO-блогов буржунета - http://www.seobook.com/archives/000159.shtml, также еще можно взглянуть здесь - http://www.toprankblog.com/search-marketing-blogs/

 

Автор: Незамутненный оптимизатор