Aller au contenu

Comment suivre ses positions Google avec Screaming Frog ?

Antoine Brisset
Antoine Brisset
Temps de lecture : 4 min
Comment suivre ses positions Google avec Screaming Frog ?
Photo by Sandy Millar / Unsplash

Table des matières

L'astuce du jour est une nouvelle fois consacrée à la grenouille qui hurle Screaming Frog.

Je vais te montrer comment tu peux te servir de ce logiciel pour suivre ton positionnement sur Google.

Oui, tu as bien entendu, ton positionnement. Avec un peu d'huile de coude, c'est tout à fait possible.

Pour ma part, j'utilise cette méthode dans le cadre d'analyses ponctuelles, quand le volume de mots-clés à checker est peu important.

Cela évite l'abonnement à un outil tiers ou à une API et c'est, je dois le dire, très appréciable.

Trêve de blabla, entrons dans le vif du sujet.

1ère étape : configurer Screaming Frog pour scraper Google

Pour être sûr de ne pas être bloqué par le CAPTCHA de Google, il faut se rapprocher le plus possible du comportement "standard" d'un internaute.

Je vais donc :

  1. activer le rendering JavaScript
  2. modifier la taille du viewport (Window Size = "Desktop")
  3. changer le user agent (Chrome)
  4. réduire la vitesse de crawl (1 thread et 0,2 URL/s)
Activation du crawl JavaScript et modification de la taille de la fenêtre du browser
Changement du User-Agent
Réglage de la vitesse de crawl

2ème étape : créer la liste des URLs de recherche Google

Comme je vais utiliser Screaming Frog en mode liste, en interrogeant les URLs de résultats de recherche Google, il faut bien entendu préparer ces URLs en y incorporant les mots-clés à suivre.

Pour ce faire, je vais utiliser Google Sheets, en concaténant l'URL de recherche Google avec le mot-clé recherché.

La formule est la suivante :

="https://www.google.fr/search?q="&ENCODEURL(A2)&"&pws=0&num=100"

Le paramètre &pws=0 permet de s'assurer que les résultats ne seront pas personnalisés, tandis que le paramètre &num=100 permet d'afficher 100 résultats.

Génération des URLs dans Google Sheets

3ème étape : créer l'expression XPath affichant la position de ton site

C'est ici que ça devient intéressant.

Pour l'exemple, je vais prendre mon site perso www.antoine-brisset.com.

L'idée, c'est de déterminer quelle est sa position dans les résultats Google sur un panel de mots-clés.

Pour ce faire, je vais détourner l'utilisation des fonctions XPath count et boolean.

Je vais en effet compter le nombre de résultats qui se situent, dans la SERP, avant mon propre site. Et je vais ajouter 1 pour obtenir la position de mon propre site, seulement si mon site est présent.

Voici l'expression XPath au complet :

count(//h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a/@href[contains(., 'antoine-brisset.com')]/preceding::h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a)+boolean(//h3[@class="LC20lb MBeuO DKV0Md" and not(ancestor::div[contains(@class, 'related-question-pair')])]/parent::a/@href[contains(., 'antoine-brisset.com')])

Explications :

  • //h3[@class="LC20lb MBeuO DKV0Md"] : j'extrais chacun des résultats de la SERP
  • not(ancestor::div[contains(@class, 'related-question-pair')]) : j'exclus les résultats de type "People Also Ask"
  • parent::a/@href[contains(., 'antoine-brisset.com')] : je cible le résultat correspondant à mon site
  • preceding:: : je sélectionne les résultats précédents mon site
  • count() : je compte le nombre de ces résultats
  • boolean(): si l'URL de mon site est trouvée dans la SERP, alors la fonction boolean renvoie true (1) donc j'ajoute 1 pour obtenir la position réelle de mon site, sinon elle renvoie false (0)

4ème étape : lancer le crawl !

Le plus dur est fait. Je peux retourner dans Screaming Frog.

J'ajoute tout d'abord l'extraction personnalisée (attention ici à bien remplacer les 2 occurrences antoine-brisset.com par l'adresse de ton site).

Custom extraction

Puis je colle la liste des URLs à crawler.

URLs (mode liste)

Je clique sur OK et c'est parti !

Positions

Ne tiens pas compte des URLs https://www.google.fr/gen_204?, ce sont des requêtes Google automatisées en lien avec l'historique de recherches.

La colonne "Position 1" indique la position de ton site. Si la valeur affichée est 0, c'est que tu n'es pas visible dans les 100 premiers résultats.

Voilà, il n'y a plus qu'à exporter les résultats en CSV.

Magique, non ?

Attention, je ne garantis pas que ça fonctionnera sur des centaines de mots-clés, mais pour quelques dizaines, aucun problème.

Screaming Frog

Antoine Brisset Twitter

Consultant SEO depuis 2010. Je traque les clics inutiles et automatise les tâches répétitives pour gagner du temps dans mon quotidien de travailleur du web.

Commentaires


Articles Similaires

Membres Public

Comment identifier des mentions sans lien avec Screaming Frog ?

Aujourd'hui, j'aimerais te partager une petite astuce pour identifier facilement les mentions sans lien avec Screaming Frog. La recherche de ces "unbranded brand mentions" figure parmi les premiers quick wins à aller chercher en matière de netlinking. C'est plutôt adapté aux sites ayant déjà une certaine notoriété, c'est vrai, mais

Comment identifier des mentions sans lien avec Screaming Frog ?
Membres Public

Comment enrichir le rapport liens externes de la Search Console avec Screaming Frog ?

La Search Console est vraiment un super outil. Pourtant, certains rapports sont à mon sens peu exploités. C'est le cas notamment de celui sur les liens externes (Liens > Exporter les liens externes > Liens les plus récents). Alors, c'est vrai, il a plusieurs inconvénients : * il est long à se mettre à

Comment enrichir le rapport liens externes de la Search Console avec Screaming Frog ?
Membres Public

Comment détecter les liens multiples avec Screaming Frog ?

Si tu t'intéresses de près au SEO, tu dois savoir qu'une des recommandations en matière de maillage interne est d'éviter, sur une page, de faire plusieurs liens vers la même page cible. D'après les derniers tests de la communauté SEO (je n'ai pas testé de mon côté), il semblerait que,

Comment détecter les liens multiples avec Screaming Frog ?