Contenu
- Définition - Que signifie Spider?
- Introduction à Microsoft Azure et au nuage Microsoft | Tout au long de ce guide, vous apprendrez ce qu'est le cloud computing et comment Microsoft Azure peut vous aider à migrer et à exploiter votre entreprise à partir du cloud.
- Techopedia explique Spider
Définition - Que signifie Spider?
Dans le contexte d'Internet, une araignée est un logiciel spécialisé conçu pour explorer et naviguer de manière systématique sur le World Wide Web, généralement dans le but d'indexer des pages Web afin de les fournir en tant que résultats de recherche pour les requêtes de recherche des utilisateurs. Le plus célèbre d'entre eux est Googlebot, le principal robot d'exploration de Google, qui permet de garantir que les résultats pertinents sont renvoyés pour les requêtes de recherche.
Les araignées sont également connues sous le nom de robots Web, de robots de recherche ou simplement de robots.
Introduction à Microsoft Azure et au nuage Microsoft | Tout au long de ce guide, vous apprendrez ce qu'est le cloud computing et comment Microsoft Azure peut vous aider à migrer et à exploiter votre entreprise à partir du cloud.
Techopedia explique Spider
Une araignée est essentiellement un programme utilisé pour collecter des informations sur le World Wide Web. Il parcourt les pages des sites Web en extrayant des informations et en les indexant pour une utilisation ultérieure, généralement pour les résultats des moteurs de recherche. L'araignée visite les sites Web et leurs pages à travers les différents liens depuis et vers les pages. Ainsi, une page sans un seul lien sera difficile à indexer et peut être classée très bas sur la page de résultats de recherche. Et s'il y a beaucoup de liens pointant vers une page, cela signifie que la page est populaire et qu'elle apparaîtra plus haut dans les résultats de la recherche.
Étapes impliquées dans l'exploration Web:
- L'araignée trouve un site et commence à explorer ses pages.
- L'araignée indexe les mots et le contenu du site.
- L'araignée visite les liens trouvés sur le site.
Les araignées ou webcrawlers ne sont que des programmes et, en tant que tels, ils suivent des règles systématiques définies par les programmeurs. Les propriétaires de sites Web peuvent également se renseigner à ce sujet en indiquant à l'araignée les parties du site à indexer et celles qui ne le devraient pas. Ceci est fait en créant un fichier "robots.txt" qui contient des instructions pour l'araignée concernant les portions à indexer et les liens à suivre et celles à ignorer. Les araignées les plus importantes sont celles appartenant aux principaux moteurs de recherche tels que Google, Bing et Yahoo, ainsi que celles destinées à l'exploration de données et à la recherche, mais il existe également des araignées malveillantes écrites pour rechercher et collecter les éléments que l'utilisateur peut vendre à la publicité. entreprises ou de trouver des vulnérabilités dans la sécurité Web.