Первым механизмом, который лег в основу интернет-поисковиков, стал так называемый crawler («ползунок» по Интернету). Написал его в июне 1993 года студент Массачусетского технологического института Мэтью Грей (Matthew Gray) с целью измерения пространства Сети. Программа называлась World Wide Web Wanderer, была написана на Perl, переходила с одного сайта на другой по ссылкам (спасибо коллекциям линков) и таким образом считала сайты и связи между ними. Простой арифметикой дело не ограничилось, и в конце того же 1993 года на основе «Скитальца» была создана первая в мире поисковая машина Wandex. Но до наших дней сей пионер, увы, не дожил.
Вторая поисковая машина – Aliweb (Archie Like Indexing for the Web) – была создана в октябре того же 1993 года и, в отличие от Wandex, жива и поныне. Это была первая целенаправленно созданная поисковая система (Wandex все-таки был экспериментальной разработкой-наследником Wanderer’а). Разработчик Aliweb Мартин Костер (Martijn Koster) впоследствии участвовал в создании стандарта Robots Exclusion Standard (механизма, позволяющего дать указание поисковым машинам не индексировать/не сохранять те или иные страницы или сайты целиком и не добавлять их в каталоги). В настоящий момент идет работа по полной переделке кода Aliweb. Основатели сервиса грозятся выпустить в 2007 году его новую версию и «убрать» с рынка поисковиков всех конкурентов, начиная с Google и заканчивая MSN и Yahoo. Мы уж начали бояться, нет, правда!
Следующим после Aliweb на рынок поисковиков вышел проект с говорящим названием WebCrawler, случилось это в начале 1994-го. Он тоже стал по-своему пионером: в нем впервые был задействован полнотекстовый поиск – не только по названиям/заголовкам/ключевым словам, но и по всему тексту любой страницы. Впоследствии это стало стандартом работы поисковых машин. WebCrawler первым приобрел популярность и признание, все предыдущие проекты не были столь «всенародными».
В том же 1994 году были запущены проекты Infoseek и Lycos (первым попытавшийся сделать поиск коммерческим предприятием). А в течение последующих трех лет на рынок вышли Altavista (долгое время считавшаяся лучшей поисковой системой, а сейчас практически забытая), Excite, Dogpile, Inktomi, Ask.com и Northern Light.
Ask.com, кстати, сначала называлась Ask Jeeves – по имени Дживса, героя серии книг П. Г. Вудхауза «Дживс и Вустер», знаменитого своей бесконечной эрудицией и способностью находить ответы на любые вопросы. Эта поисковая машина первой предложила пользователям задавать вопросы простым английским языком, нормальными предложениями, начинающимися с вопросительного слова. Работало, если честно, не очень эффективно, но сам подход вызывал уважение.
Сегодня на Ask.com написано, что Дживс, десять лет служивший сетевому сообществу верой и правдой, исполнил свой долг и отправился на заслуженный отдых; что долгое время он был знаковой фигурой, виртуальным дворецким, которому нравилось находить ответы на вопросы посетителей, но – времена меняются. Сегодня, по мнению Ask.com, Интернет уже другой – он стал средой обитания реального времени, пользователям нужны моментальные ответы на все более сложные запросы. Другими словами, Дживсу сделали ребрендинг (в итоге отказавшись от модели «вопросов по-людски»), а сервис, конечно же, обещает становиться лучше и лучше, служить пользователям и стать лучшим поисковиком на свете. (Пока же мы, в надежде, что в будущем хорошая идея (над которой, кстати, давно бьются в Microsoft) будет успешно реализована, иллюстрируем статью персонажами Вудхауза, из которых Дживс (условно) будет олицетворять посковые системы будущего, а Вустер… ну, отнесемся к себе с долей критики.)
Между прочим, сейчас технология «человеческих вопросов» в некотором виде работает, в частности, на «Яндексе»: если на простые ключевые слова это поисковик выдает только соответствующие страницы, то на выражения типа «что такое то-самое-ключевое-слово» – сначала словарные определения, если таковые есть, а потом уже обычные результаты поиска.
Кроме поисковых машин существовали еще и сайты-каталоги (они же рубрикаторы, они же директории). Каждый сайт в них был отнесен к тому или иному разделу, и пользователь, углубляясь в интересующем направлении (например, Каталог/Культура/Музыка/Классическая музыка), сам должен был находить нужные ссылки и описания. В сайтах-рубрикаторах, разумеется, был и встроенный поиск по каталогу – по названию и краткому описанию сайта. Большинство каталогов были пре– или постмодерируемыми. Наиболее известным на Западе сайтом такого типа стал Yahoo!, появившийся в 1995 году и до сих пор являющийся одним из наиболее посещаемых ресурсов в мире. Попасть в его базу было непросто, и это считалось довольно почетным. Конечно, поисковые машины и каталоги были конкурирующими идеологиями, но для конечного пользователя они, скорее, дополняли друг друга. В конце концов, эти два способа упорядочивания Сети слились – так в 2004 году появился сервис Yahoo! Search (Yahoo купила в 2002 году Inktomi, a в 2003 – Overture, которая к тому времени владела, в свою очередь, проектами Altavista и появившимся в 1999 году AllTheWeb), такая же судьба постигла и остальные дожившие до наших дней проекты. А до запуска своего поиска Yahoo! использовала поисковые возможности героев следующей главы нашего рассказа.
Именно в этом году возникла очередная поисковая машина, которой было суждено если не перевернуть представления о поиске, то, во всяком случае, показать миру, какой потенциал таит в себе эта отрасль. Большая цифра – единица со ста нулями – называется по-английски Googol (гугол). После небольшой обработки напильником это слово превратилось в Google. Согласно официальной легенде, название отражает стремление компании организовать и упорядочить сколь угодно большие объемы информации.
«Гугл» был основан выпускниками Стэндфордского университета Ларри Пэйджем (Larry Page) и выходцем из России Сергеем Брином. Разработка началась еще в 1996 году – именно тогда были заложены основы системы PageRank – алгоритма расчета авторитетности страницы. Система была основана на подсчете количества и «веса» ссылок, ведущих на тот или иной ресурс. Создатели Google предположили, что на интересный, полезный или популярный сайт ссылаться должны чаще, чем на скучный и одноразовый.
Первоначальные вложения в проект составили около 1 миллиона долларов. В сентябре 1998 года система, стартовавшая в статусе бета-версии, уже тогда обрабатывала десятки тысяч запросов в день. На поисковик обратили внимание интернет-гиганты AOL (купивший к тому времени портал Netscape) и Yahoo!. Каждый, в свою очередь, интегрировал поиск Google на свои порталы, и к концу 2000 года сервис обрабатывал до 100 миллионов (!) запросов ежедневно. (После обособления Yahoo! нагрузка снизилась, сегодня Google отвечает примерно на 50 миллионов запросов в день.)
Успех Google был во многом обусловлен качественным поисковым алгоритмом. Любая поисковая машина, разрастаясь, рискует стать свалкой. Сайты рождаются и умирают, их популярность изменяется, а кроме того, всем хочется всплыть на первую страницу результатов поиска, поэтому многие веб-мастера прибегают к так называемому «поисковому спаму» (о нем мы еще расскажем ниже). Задав один и тот же ключ поиска разным поисковым машинам, можно получить принципиально разные результаты, причем из года в год они могут изменяться еще более удивительным образом.
