تبدأ عملية تخزين المعلومات في محركات البحث بالخطوة الأولى لظهور
موقعك في محرك البحث، وهي أن يتم إرسال زاحف الشبكة أو زاحف محرك البحث
أو كما تعرف بالإنجليزية «Crawler, spiders, bots» وهو عبارة عن برنامج
آلي يزحف إلى الصفحات عبر شبكة الويب ويُجري فهرسة لها، أي يقوم بمعرفة
محتوى الصفحة ويقوم بتخزينها في سجل البيانات ليتم إظهارها عند الطلب،
ثم بعد أن يصل إلى الموقع يقوم بالانتشار بين صفحات الموقع يبحث عن
الصفحات الجديدة ويقوم بتخزينها وتعرف عملية التخزين بالفهرسة
«indexing»، وحتى تكون خبيرًا في تحسين محركات البحث يجب أن تعرف
المصطلحات التالية:
الزحف: عملية البحث عن صفحات ويب جديدة أو معدَّلة.
الفهرسة: تخزين جميع صفحات الويب التي يتعرّف عليها في الفهرس التابع
له.
الزاحف: عبارة عن برنامج آلي يزحف إلى الصفحات (أو يجلبها) من الويب
ويُجري فهرسة لها.