Indexarea în motoarele de căutare ( indexare web ) este procesul de adăugare a informațiilor (despre un site) de către un robot motor de căutare la o bază de date , care este ulterior utilizată pentru regăsirea informațiilor ( în text integral ) pe site-urile indexate .
Informațiile despre site includ cel mai adesea cuvinte cheie (algoritmul de determinare a cuvintelor cheie depinde de motorul de căutare ), articole, linkuri, documente, imagini, audio etc. pot fi și ele indexate.
Există unele restricții privind tipurile de date indexate ( javascript , fișiere flash).
Pentru a controla indexarea (de exemplu, interzicerea indexării unei anumite pagini), sunt utilizate fișierul robots.txt și directive precum Disallow, Allow, User-agent, Crawl-delay și altele. De asemenea, pentru a controla indexarea, sunt folosite etichetele <noindex> și atributul <nofollow> , care închid conținutul site-ului de la roboții Yandex și , respectiv , Google ( Yahoo folosește eticheta <nofollow>).
| Căutarea de informații pe Internet | |
|---|---|
| Instrumente | |
| Indexarea | |
| Cerere | |
| rezultatele căutării | |
| Alte | |