Aller au contenu

Comment suivre ses positions Google avec Screaming Frog ?

Antoine Brisset
Antoine Brisset
Temps de lecture : 4 min
Comment suivre ses positions Google avec Screaming Frog ?
Photo by Sandy Millar / Unsplash

Table des matières

L'astuce du jour est une nouvelle fois consacrée à la grenouille qui hurle Screaming Frog.

Je vais te montrer comment tu peux te servir de ce logiciel pour suivre ton positionnement sur Google.

Oui, tu as bien entendu, ton positionnement. Avec un peu d'huile de coude, c'est tout à fait possible.

Pour ma part, j'utilise cette méthode dans le cadre d'analyses ponctuelles, quand le volume de mots-clés à checker est peu important.

Cela évite l'abonnement à un outil tiers ou à une API et c'est, je dois le dire, très appréciable.

Trêve de blabla, entrons dans le vif du sujet.

1ère étape : configurer Screaming Frog pour scraper Google

Pour être sûr de ne pas être bloqué par le CAPTCHA de Google, il faut se rapprocher le plus possible du comportement "standard" d'un internaute.

Je vais donc :

  1. activer le rendering JavaScript
  2. modifier la taille du viewport (Window Size = "Desktop")
  3. changer le user agent (Chrome)
  4. réduire la vitesse de crawl (1 thread et 0,2 URL/s)
Activation du crawl JavaScript et modification de la taille de la fenêtre du browser
Changement du User-Agent
Réglage de la vitesse de crawl

2ème étape : créer la liste des URLs de recherche Google

Comme je vais utiliser Screaming Frog en mode liste, en interrogeant les URLs de résultats de recherche Google, il faut bien entendu préparer ces URLs en y incorporant les mots-clés à suivre.

Pour ce faire, je vais utiliser Google Sheets, en concaténant l'URL de recherche Google avec le mot-clé recherché.

La formule est la suivante :

="https://www.google.fr/search?q="&ENCODEURL(A2)&"&pws=0&num=100"

Le paramètre &pws=0 permet de s'assurer que les résultats ne seront pas personnalisés, tandis que le paramètre &num=100 permet d'afficher 100 résultats.

Génération des URLs dans Google Sheets

3ème étape : créer l'expression XPath affichant la position de ton site

C'est ici que ça devient intéressant.

Pour l'exemple, je vais prendre mon site perso www.antoine-brisset.com.

L'idée, c'est de déterminer quelle est sa position dans les résultats Google sur un panel de mots-clés.

Pour ce faire, je vais détourner l'utilisation des fonctions XPath count et boolean.

Je vais en effet compter le nombre de résultats qui se situent, dans la SERP, avant mon propre site. Et je vais ajouter 1 pour obtenir la position de mon propre site, seulement si mon site est présent.

Voici l'expression XPath au complet :

count(//h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a/@href[contains(., 'antoine-brisset.com')]/preceding::h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a)+boolean(//h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a/@href[contains(., 'antoine-brisset.com')])

Explications :

  • //h3[@class="LC20lb MBeuO DKV0Md"] : j'extrais chacun des résultats de la SERP
  • not(ancestor::div[contains(@class, 'related-question-pair')]) : j'exclus les résultats de type "People Also Ask"
  • parent::a/@href[contains(., 'antoine-brisset.com')] : je cible le résultat correspondant à mon site
  • preceding:: : je sélectionne les résultats précédents mon site
  • count() : je compte le nombre de ces résultats
  • boolean(): si l'URL de mon site est trouvée dans la SERP, alors la fonction boolean renvoie true (1) donc j'ajoute 1 pour obtenir la position réelle de mon site, sinon elle renvoie false (0)

4ème étape : lancer le crawl !

Le plus dur est fait. Je peux retourner dans Screaming Frog.

J'ajoute tout d'abord l'extraction personnalisée (attention ici à bien remplacer les 2 occurrences antoine-brisset.com par l'adresse de ton site).

Custom extraction

Puis je colle la liste des URLs à crawler.

URLs (mode liste)

Je clique sur OK et c'est parti !

Positions

Ne tiens pas compte des URLs https://www.google.fr/gen_204?, ce sont des requêtes Google automatisées en lien avec l'historique de recherches.

La colonne "Position 1" indique la position de ton site. Si la valeur affichée est 0, c'est que tu n'es pas visible dans les 100 premiers résultats.

Voilà, il n'y a plus qu'à exporter les résultats en CSV.

Magique, non ?

Attention, je ne garantis pas que ça fonctionnera sur des centaines de mots-clés, mais pour quelques dizaines, aucun problème.

Screaming Frog

Antoine Brisset Twitter

Consultant SEO depuis 2010. Je traque les clics inutiles et automatise les tâches répétitives pour gagner du temps dans mon quotidien de travailleur du web.

Commentaires


Articles Similaires

Membres Public

Comment détecter les liens multiples avec Screaming Frog ?

Si tu t'intéresses de près au SEO, tu dois savoir qu'une des recommandations en matière de maillage interne est d'éviter, sur une page, de faire plusieurs liens vers la même page cible. D'après les derniers tests de la communauté SEO (je n'ai pas testé de mon côté), il semblerait que,

Comment détecter les liens multiples avec Screaming Frog ?
Membres Public

Comment récupérer les URLs d'un sitemap XML avec Screaming Frog (sans les crawler) ?

Il y a quelques semaines, j'ai découvert dans cet article une astuce toute bête mais très pratique pour extraire les URLs d'un sitemap XML avec Screaming Frog. L'idée c'est d'utiliser le mode liste de Screaming Frog de la façon suivante : * cliquer sur Download XML Sitemap * coller l'URL du sitemap * lancer

Comment récupérer les URLs d'un sitemap XML avec Screaming Frog (sans les crawler) ?
Membres Public

Comment sauvegarder ses extractions personnalisées (XPath, regex) dans Screaming Frog ?

Le tips du jour fait suite à une question très intéressante que m'a posée Christophe aka @stonetatara au sujet de Screaming Frog. La question est la suivante : est-il possible d'enregistrer une collection de requêtes XPath dans une librairie permanente, de manière à pouvoir les réutiliser à chaque crawl, peu importe

Comment sauvegarder ses extractions personnalisées (XPath, regex) dans Screaming Frog ?