Битва первых поисковиков в раннем Рунете

Конец девяностых в России — время, когда интернет только начинал переставать быть игрушкой для избранных и превращался в пространство повседневной жизни (у автора этих строк модем появился в 1999 году как раз). Рунет стремительно рос, но оставался диким: сайты появлялись хаотично, каталогов было мало, а найти нужную информацию без хорошего поисковика было почти невозможно. Именно тогда развернулась одна из самых интересных технологических гонок в истории отечественного IT — борьба за лидерство между Апортом, Rambler и Yandex. Главная проблема Все упомянутые поисковики рождались в маленьких командах энтузиастов — математиков, программистов и исследователей, которые пытались решить одну из самых сложных задач того времени — научить машину понимать русский язык. В отличие от английского, русский язык обладает богатой морфологией: одно слово может иметь десятки форм. Простое совпадение строк не работало — поисковик должен был «понимать», что «книга», «книги» и «книгой» — это одно и то же слово.Решением стал морфологический анализ. Поисковики начали использовать словари и алгоритмы нормализации слов — приведения их к базовой форме (лемме). Например, запрос «купить книги» должен был находить страницы с «книга», «книгами» и «книгой». Технически это реализовывалось через: Морфологические словари с правилами словоизменения. Алгоритмы стемминга и лемматизации. Индексацию не только слов, но и их нормальных форм. Это было ключевым конкурентным преимуществом русскоязычных систем по сравнению с западными аналогами того времени. Rambler: первый из всех Rambler появился в середине 1990-х как один из первых русскоязычных поисковиков: его начали разрабатывать в 1994–1996 годах, а в открытый доступ он вышел 8 октября 1996 года. Ключевой фигурой был Дмитрий Крюков: он написал ядро поисковика за несколько месяцев и придумал название Rambler, то есть «странник» или «бродяга», как образ робота, который «ходит» по сети. Проект финансировался внутренними ресурсами компании «Стек», связанной с ранней интернет-инфраструктурой в Пущино.Официальной датой рождения часто считают 26 сентября 1996 года, когда зарегистрировали домен rambler.ru, а сам поисковик стал доступен в сети 8 октября 1996 года. На старте он индексировал около 100 тысяч документов — для того времени это был очень сильный результат. Одним из ключевых преимуществ Rambler на старте было то, что он появился очень рано и занял позицию пионера. В те годы само наличие работающего поиска по русскоязычным сайтам уже было большим достижением. Rambler ассоциировался с входной точкой в интернет: пользователь открывал главную страницу и сразу получал доступ не только к поиску, но и к новостям, рейтингу сайтов, почте и другим сервисам. Технически ранний Rambler опирался на классическую схему: веб-робот обходил страницы, затем данные попадали в инвертированный индекс, который позволял быстро находить документы по словам запроса. Для ранних поисковиков это было критично, потому что без таких структур поиск по растущему массиву страниц просто не успевал бы работать. На уровне ранжирования тогда широко использовались частотные метрики: чем чаще и «правильнее» слово встречалось в документе, тем выше он поднимался в выдаче. Особую роль в росте Rambler сыграл проект Rambler Top100 — рейтинг сайтов, который был одновременно инструментом статистики и важным механизмом структурирования раннего Рунета. Владельцы сайтов стремились попасть в этот рейтинг, а пользователи ориентировались на него как на своеобразную карту популярных ресурсов. Rambler благодаря этому стал не просто поисковиком, а важным инфраструктурным игроком. Он видел, какие сайты растут, как меняется аудитория и чем интересуется интернет-публика. Однако раннее лидерство не гарантировало долгосрочной победы. По мере роста интернета поисковая задача становилась сложнее. Уже недостаточно было просто индексировать страницы и выводить результаты. Нужно было всё лучше понимать язык запросов, ранжировать документы, бороться с мусором, обновлять индекс и развивать рекламную модель. Rambler постепенно всё сильнее смещался в сторону медийного портала. На его главной странице было много редакционного контента, новостей, сервисов, элементов портальной логики. Это помогало удерживать аудиторию, но одновременно ослабляло фокус именно на поиске как на ключевой технологии. Со временем Rambler стал меньше восприниматься как лучший поиск и больше — как большой интернет-портал. Апорт: ставка на понимание запроса «Апорт» появился почти одновременно с Rambler и в первые годы стал одним из самых заметных игроков. Первая демонстрация системы состоялась в феврале 1996 года, а официальная презентация — 11 ноября 1997 года, когда поисковик уже умел индексировать весь Рунет. Исторически «Апорт» связан с компанией «Агама», которая и развивала проект. Сегодня этот поисковик почти не вспоминают, но в конце 1990-х и начале 2000-х он был очень серьёзным игроком. Более того, в определённый период Апорт воспринимался как один из лидеров, а некоторыми пользователями — даже как лучший вариант поиска по Рунету.«Апорт» одним из первых в Рунете начал активно учитывать не только текст страницы, но и элементы HTML-кода, а также слова в URL. Это важно потому, что слово в заголовке или адресе страницы обычно значимее, чем случайное упоминание в тексте. В более продвинутых версиях появлялись элементы работы с новостными лентами и платными позициями в выдаче. Если упростить, «Апорт» двигался от простого поиска по словам к более контекстному поиску, где учитывались структура документа и сигналы его важности. Для конца 1990-х это было очень современно. Интересно также, что «Апорт» одним из первых начал экспериментировать с коммерциализацией поиска — интеграцией рекламы и партнёрских сервисов. Но при этом проекту не хватало устойчивой технологической стратегии и ресурсов для масштабирования. В условиях быстро растущего Рунета это оказалось критическим фактором. Но у Апортa постепенно проявились те же проблемы, которые губили многих ранних лидеров технологических рынков: недостаточная скорость эволюции продукта, стратегическая неустойчивость и нехватка ресурса для длинной технологической гонки. Яндекс: алгоритмы как стратегия История Яндекса начинается раньше официального бренда. В 1993 году Аркадий Волож и Илья Сегалович создали поисковую систему для файлов на компьютере и назвали её Yandex, сокращение от «Yet ANother INDEXer» — «ещё один индексатор». А публичная презентация поисковой машины Яndex-Web состоялась 23 сентября 1997 года. Тогда система индексировала уже весь доступный на тот момент Рунет: около 5 тысяч сайтов и примерно 4 Гбайт текста. Именно на этой демонстрации стало понятно, что Яндекс делает ставку не на каталог, а на полноценный алгоритмический поиск.Главное преимущество Яндекса — глубокая работа с русским языком. Уже в ранней версии система учитывала морфологию, расстояние между словами и умела ранжировать документы. Это означало, что запросы в разных словоформах могли приводить к одним и тем же релевантным страницам, а не только к буквальным совпадениям. Позже Яндекс начал системно развивать алгоритмы ранжирования: текстовые факторы, структуру документа, близость слов, качество источника и ссылочные сигналы. Именно сочетание математической школы и языковой обработки сделало его особенно эффективным на русском рынке. Таким образом, главным козырем Яндекса было качество поиска по-русски. Для аудитории это ощущалось очень практично: система чаще находила нужное, лучше понимала словоформы, точнее работала с русскоязычными страницами. Пользователь несколько раз убеждался, что через Яндекс найти проще, и возвращался снова. А в поисковом бизнесе повторяемость поведения особенно важна.Ещё одной сильной стороной Яндекса было сочетание инженерной культуры и продуктового чутья. Компания не ограничилась поисковой строкой. Постепенно вокруг неё выстроилась экосистема сервисов: новости, почта, карты, позже — музыка, такси, маркет и многое другое. Но, в отличие от Rambler, у Яндекса долго сохранялся именно технологический центр тяжести. Даже когда компания становилась всё более крупной и многопрофильной, её репутация строилась на том, что она умеет решать сложные вычислительные задачи и делает это лучше конкурентов на локальном рынке. В сухом остатке У Rambler был сильный старт и массовая узнаваемость, у «Апорта» — хорошие инженерные идеи и внимание к качеству выдачи, у Яндекса — наиболее глубокая технологическая база, которая оказалась лучше подготовлена к масштабированию и усложнению запросов пользователей. Также Яндексу сильно помогло умение видеть, куда дует ветер и как развивается Интернет, ну и конечно способность быстро к этим изменениям адаптироваться, с чем тот же Rambler не справился, а Aport будто бы и не пытался быть чем-то большим, чем поисковик (а позже — каталог товаров, что, вообще говоря, понижение по «званию»). История Rambler, «Апорта» и Яндекса — это не просто конкуренция брендов, а момент рождения русскоязычного информационного поиска. Именно тогда были обкатаны морфологические словари, инвертированные индексы, первые серьёзные схемы ранжирования и подход к документам как к сложным структурам, а не просто наборам слов. Эти решения до сих пор лежат в основе того, как пользователи находят информацию в Рунете. Если раньше искать по-русски было почти экспериментом, то благодаря этой тройке поиск стал привычной и почти незаметной технологией. И в этом смысле их борьба определила не только рынок, но и сам способ жизни Рунета.