отрезать первое сообщение от остальных трудно. Но мы уже умеем искать отдельно по форумам и отдельно по блогам (это появится в ближайшей версии). Они у нас не в одной куче, это только так кажется.
Форумы и блоги отделены от «большого робота», потому что важный признак, объединяющий форумы и блоги и четко отделяющий их от всего остального, – это время. Даже выдача на запрос по умолчанию сортируется по времени.
– Вот эта временная шкала совершенно перестраивает мозги, – продолжает Илья, – это не алгоритм PageRank, а совершенно иная мера.
– Неслучайно мы по умолчанию выдаем результаты, отсортированные по времени, – замечает Андрей Себрант. – Трехлетней давности сообщение в форуме представляет скорее исторический интерес, каким бы релевантным оно ни казалось.
Несмотря на всю полезность поиска по блогам он явно не дотягивает до зарубежных аналогов и в первую очередь – до Technorati. Аркадий Волож с такой оценкой не согласен, но даже если и так, отмечает он, сервис не заброшен, работа над ним ведется очень активно. Илья Сегалович идет еще дальше.
– Technorati – лишь первый шаг в нужном направлении. Там есть задел, но нужно двигаться вперед. В блогах часто попадается ценная информация, но как ее оттуда извлечь? Мы уже решили похожую проблему с новостями, создав полностью автоматизированный сервис (руками только добавляются сами ресурсы). Ни один редактор не пострадал. Такой должности, как журналист, в «Яндексе» нет. Вот.
В голосе Ильи слышится такая неподдельная радость, что оба редактора нервно поправляют свои розовые кофточки, ожидая в следующую минуту услышать классическое «А теперь встали и вышли отсюда».
– Что касается блогов, – продолжает суровый директор по технологиям, – то есть чудовищный соблазн сделать что-то интересное. Прошлый год уже показал, что в блогосфере есть настоящие жемчужины, которые нужно доносить до внимания общественности. Они перетекают в новости в полуразмытом виде, и нужно научиться их находить и выделять. Вопрос – как это сделать. Технически это очень нетривиально.
Место действия: большая переговорная в старом офисе «Яндекса».
Действующие лица те же.
Волож: Я против разговоров о том, что Google придет в Россию. Черная рука идет по улице, черная рука стучится в ваш подъезд…
Сегалович: (перебивает) Черный ящик на семи колесиках…
Волож: Ну хорошо. В разных лагерях рассказывали по-разному. Google приходит в Россию? Да он в 2001 году сюда пришел, как только открыл Google.ru! И посмотрите статистику – что-то принципиально изменилось? Они в прошлом году потрясающе выросли, кстати. С пяти до шести процентов. Без шуток – это 20-процентный рост.
Сегалович: Точно так же, как «Яндекс» пугают приходом Google, Google пугали Microsoft. Мол, придет страшный черный ящик на семи колесиках и всех раздавит, как клопов. MSN в прошлом году сделал свой поиск. И что? Пять лет кричали о том, что Microsoft сделает лучший в мире поиск, Microsoft перетащила себе большую команду из Китая, разработала, выпустила – и в результате доля MSN в поиске упала с пятнадцати процентов до семи.
«КТ»: А кстати, как вы «отвоевали» Mail.ru у Google?
Волож: Ничего про это не знаю. Они сами к нам пришли. И это был большой подарок судьбы. А почему? Видимо, им понравилось, сколько денег мы собираем.
«КТ»: Просто немного странно. Они же к движку Google серьезно относились, даже морфологию русскую прикрутили.
Сегалович: О, тут как раз ничего странного нет. Алексей Сокирко, который делал русскую морфологию в Mail.ru для движка Google, теперь работает у нас.
«КТ»: А насколько качество поиска коррелирует с популярностью поискового сервиса?
Себрант: Ни насколько.
Волож: Да нет, если наш поиск долго будет хуже гугловского или рамблеровского, то люди начнут уходить.
Себрант: Но не наоборот. Если предположить, что гугловский поиск будет на два процента лучше, то… Во-первых, что значат эти два процента? Во-вторых, что значит «лучше»?
Волож: Неизвестно, как устроена эта материя. Почему пользователи приходят туда, а не сюда – никто не знает.
Сегалович: Ну нет, я знаю.
Волож: У тебя теории. У всех свои гипотезы. Я вот считаю, что просто не надо вредить. Надо стараться делать хорошо.
Сегалович: В конце 2004 года у нас был небольшой кризис, из которого мы вышли, и в течение всего 2005 года последовательно улучшали робота. Робот у нас очень приличный. По скорости занесения в базу мы опережаем конкурентов от нескольких часов до суток.
«КТ»: А в среднем прямое занесение в базу сколько времени занимает? Сколько времени проходит от момента, когда веб-мастер сообщает вам URL своего ресурса, до начала индексации?
Сегалович: Прямое занесение, то есть механизм «Добавить URL», играет не очень большую роль. А вот если на вас сослались из какого-нибудь интересного места, это дело, скажем, нескольких часов.
«КТ»: А почему при обновлении индекса из «Яндекса» частенько пропадают сайты?
Сегалович: Это стандартная беда всех веб-мастеров и всех роботов…
«КТ»: Но ругаются-то обычно именно на «Яндекс».
Себрант: Потому что когда перестает приходить трафик с «Яндекса» – это заметно, а если, допустим, с Google – то не очень.
Сегалович: Это, конечно, тоже играет роль. Но дело еще и в том, что у нас база обновляется очень часто, трижды в неделю. И если какой-то сайт почему-то не ответил, мы его сразу же убираем. А у того же Google месячный период обхода плюс быстрый робот, который обслуживает далеко не всех. И если уж я попал в Google со своей страничкой, то так в нем и живу. А «Яндекс» может меня выкинуть, потому что сайт в тот момент, когда ткнулся робот, лежал. И всё. На три дня меня в базе нет. То есть сама наша живость – это, безусловно, плюс, но у нее есть и неприятный побочный эффект.
Себрант: Нужно учесть, что когда мы случайно выкинули какой-то сайт, качество ответа практически не изменилось.
Волож: Зато увеличилась живость всей базы.
«КТ»: Веб-мастера жалко.
Себрант: Жалко. Но одним из проявлений кризиса, о котором говорит Илья, были мертвые ссылки в первой десятке выдачи. Люди переходили по ссылке, а ничего не открывалось. И это было страшно раздражающим фактором.
Волож: Не будет пользователей, веб-мастерам еще хуже станет со временем.
– У нас есть скрипт, собирающий и сравнивающий ответы поисковых систем по редким запросам, – поясняет Илья Сегалович, – и мы постоянно себя измеряем. Так вот, моя теория, в которую Аркаша и Андрей не верят, говорит, что рост популярности «Яндекса» коррелирует с состоянием базы. Не 87 процентов стала чистота, а 92 процента. Не 91 процент небитых ссылок, а 94, и так далее.
– Под «не верю» нужно понимать, что я не верю в абсолютизацию базы, – поправляет Себрант.
Перенос фокуса на базу позволяет нам вытащить домашнюю заготовку и спросить, как «Яндекс» относится к метапоисковым машинам, использующим для формирования результатов в том числе и выдачу «Яндекса».
– Выдачу у нас, кстати, можно купить, – замечает Волож.
Сегалович к паразитизму относится плохо, и в перспективность такого подхода – независимо от его
