Многие наверно задумываются о том как работает поисковый робот попадая на ваше ресурс. В данном статье я попытаюсь растолковать доступно и подробно основные принципы работы.
Итак, практически любая поисковая система включает в себя следующие компоненты:
1) Spider (паук) – именуемый как «виртуальный» браузер, именно данный компонент скачивает к себе вашу web страницу.
2) Crawler (краулер, «путешествующий» паук) – данный компонент при своей работе проходит по всем ссылам которые были обнаружены на страницах.
3) Indexer (индексатор) – компонент производит анализ страниц которые были «скачаны» пауком.
4) Database (база данных) – название говорит само за себя, в этом пространстве располагаются обработанные и скачанные web страницы.
5) Search engine results engine (система выдачи результатов) – одно из наиболее актуальных компонентов, если говорить простым языком то этот модуль работает тогда когда в поисковике мы вбиваем какой-либо запрос.
6) Web server (веб-сервер) – неотъемлимый компонент, осуществляет взаимодействие между пользователем и сервером системы.
Здесь представлены основные компоненты, на самом деле реализация современных поисковых систем гораздо сложнее. По сути для нас, как для разработчиков самым важным является 5 компонент. Так как мы стараемся как можно лучше оптимизировать свой сайт для того чтобы он был как можно выше в поисковой выдаче по тому или иному запросу. Ну в общем это так, легкое отступление, продолжим…
Подписаться
