Зарубежные поисковые машины
| Полнотекстовая | Полнотекстовая | Полнотекстовая | Полнотекстовая | Абстрактная | Полнотекстовая | Полнотекстовая
| |
| 30 миллионов | 55 миллионов | 54 миллиона | 20-50 миллионов | 20-25 миллионов | 5 миллионов | 2 миллиона | |
| от 1 дня до 3 месяцев | 1 - 3 недели | не позднее 3 недель | от минут до месяца | ещемесячное обновление | 1 - 4 недели | еженедельное обновление | |
| Да | Нет | Да | Нет | Нет | Нет | Нет | |
| 1 день | 1 неделя | 3 недели | 1 месяц | 1 месяц | 2 - 4 недели | 2 - 4 недели | |
| 1 - 3 месяца | 3 недели | 3 недели | 1 месяц | 1 месяц | 2 4 недели | 2 4 недели | |
| Неограничена | Неограничена | Неограничена | Неограничена | Неограничена | - | Ограничена популярностью того или иного сервера | |
| Нет | Да | Нет | Да | Да | Нет | Нет | |
| Да | Нет | Нет | Да | Да | Нет | Да | |
| Нет | Да | Нет | Да | Да | Нет | Нет | |
| Нет | Нет | Да | Нет | Да | Нет | Да | |
| Да | Нет | Да | Да | Нет | Нет | Нет | |
| robots.txt | robots.txt (в будущем и метаданные) | И то, и другое | robots.txt | robots.txt | robots.txt | И то, и другое | |
| Поддерживает | Поддерживает | - | - | - | - | Поддерживает | |
| Да | Да | Да | Нет | Да | Нет | Нет | |
| Нет | - | Ключевые слова в метаданных | Нет | Нет | Нет | Частота появления ссылок | |
| Да | Да | Да | Да | Да | Да | Да | |
| Да | Нет | Да | Да | Да | Нет | Только NOINDEX таг | |
| Заголовок страницы или No Title | Заголовок страницы или Untitled | Заголовок страницы или URL | Заголовок страницы или первая строка документа | Заголовок страницы или первая строка документа | Первые 100 символов из документа | Заголовок страницы или URL | |
| Метатаг или первые несколько строк из документа | Формируется из наиболее релевантных к запросу фраз документа | Метатаг или первые несколько строк документа | Метатаг или первые 200 символов после тага <body> | Метатаг или экстакт из содержимого страницы | Первые 100 символов документа | Создается из содержания; обещается поддержка метатагов в будущем | |
| Да | Нет | Нет | Нет | Да | Нет | Да | |
| Удалить содержимое и указать новый адрес | Удалить содержимое или переписать robots.txt | Переписать robots.txt | Удалить содержимое и указать новый адрес или переписать robots.txt | - | - | - | |
| Scooter | Architext Spider | Slurp the Web Hound | Side winder | T-rex | - | Spidey |
Информация приведена по состоянию на начало 1998 года.
