Немного истории
Развитие поисковых систем в самом начале было весьма бурным, и создавали их все кому не лень. "Дедушкой" всех поисковых машин была система Archie, созданная в 1990 году Аланом Эмтажем (Alan Emtage), студентом McGill University Монреаля. Спустя три года University of Nevada System Computing Services запускает другой поисковик Veronica. Эти поисковики создавали базы данных существующих в сети файлов. Однако они вскоре перестали справляться с быстро растущим количеством файлов, и на смену им пришли другие.
World Wide Web Wanderer ? первый автоматизированный робот ? и ALIWEB ? первый аналог веб-каталогов, заполняемых сайтовладельцами или редакторами, были разработаны уже осенью 1993 года. И, наконец, в том же году появились первые "пауки": JumpStation, World Wide Web Worm и Repository-Based Software Engineering ** ? прародители современных всем известных поисковиков, таких как Google или Yahoo.
http://galaxy.com/info/history2.html
Российские разработчики тоже не отставали от своих западных коллег. В середине 90-х наша аудитория интернета еще только формировалась и была вынуждена пользоваться поисковыми системами, не понимавшими по-русски. Для них в 1996 году в небольшом подмосковном городке Пущино группа программистов под руководством Дмитрия Крюкова создала первую в России поисковую программу Рамблер, которая сразу же была запущена в эксплуатацию. Находясь по неизменному с тех пор адресу в Сети http://www.rambler.ru/, она и по сей день является одним из самых популярных поисковиков среди пользователей Интернет.
http://www.rambler.ru/doc/about.shtml
Через год аудитория русского интернета приветствовала появление поисковой машины с маркой Яndex (http://www.yandex.ru/). Опыт разработчиков компании CompTek, полученный в результате многолетней работы с поисковыми технологиями, благодаря чему были созданы небольшие подобные "машинки", помог реализовать систему поиска с учетом русской морфологии.
http://www.yandex.ru/skazki/story.html?405
http://www.svoboda.org/programs/sc/2002/sc.030502.asp
