Outils de crawl

Quelle utilité SEO à crawler un site web ?

Le crawler est un outil de référencement indispensable au consultant SEO car il permet de faire ressortir une grande partie des problèmes techniques du site. En effet, des liens morts, des pages en 404, des titles dupliquées … sont autant d’éléments qu’un crawl vous mettra en lumière. Un simple crawl de votre site avec le bon outil vous permettra de détecter tous ces problèmes qui sont des freins pour le référencement. Enfin, le crawler vous ressortira d’autres informations très utiles comme la distance de vos pages (à combien de clics de votre page d’accueil), le nombre de liens sortants, les h1/h2 et méta-description de vos pages … Une vraie mine d’or SEO en somme !

Crawlers SEO

Quels crawlers sur le marché ?

Screaming Frog SEO Spider, Xenu, Integrity

Ces 3 crawlers sont des logiciels à installer sur votre ordinateur et leur rapidité et capacité à traiter des crawl volumineux dépendra donc de la puissance de votre machine. Screaming Frog est certainement le meilleur crawler aujourd’hui car donne le plus grande quantité d’informations utiles au SEO mais nécessite de payer 99$/an pour crawler plus de 500 urls. Xenu est un crawler plus basique mais il a l’avantage d’être entièrement gratuit et plus adapté au crawl de liens externes sur plusieurs niveaux. Enfin, le petit dernier – Inegrity – est un Xenu like mais sous mac.

Botify

Botify à l’avantage (ou l’inconvénient – c’est à l’appréciation de chacun) d’être un crawler en SaaS donc il n’utilise pas les ressources de votre machine. De plus les rapports sont accessibles en ligne donc et sont mis en forme afin de faire ressortir les points importants en un petit coup d’oeil. Mais les possibilités sont moins nombreuses qu’un Screaming Frog sur laquelle on a totalement les mains pour tous les retraitements.