SEO of zoekmachineoptimalisatie heeft zoveel veranderende onderdelen dat het soms lijkt alsof we, zodra we klaar zijn met het optimaliseren van het ene deel, terug moeten naar het andere deel waar we vorige week ook al aan hadden gewerkt.
Je kunt continu bezig zijn met het optimaliseren van de drie SEO pijlers: techniek, content en off-page. Maar de belangrijkste onderdelen zijn misschien wel de indexeerbaarheid en het crawlbudget, want die bepalen of jouw website wordt getoond in de zoekresultaten.
In deze blog bespreken we hoe zoekmachines werken, de betekentis van de termen crawlen, indexeren en ranken, het belang van crawlbudget en tot slot geven we 9 tips om de indexatie te stimuleren.
Table des matières
Comment fonctionnent les moteurs de recherche ?
Il est important de savoir comment fonctionnent les moteurs de recherche. Les moteurs de recherche ont des robots qui parcourent toutes les pages web à la recherche d'informations. Ces informations sont stockées dans une base de données.
Si quelqu'un effectue une recherche, le moteur de recherche affichera en un rien de temps des résultats provenant de la base de données susmentionnée. Mais comment le moteur de recherche sait-il quel est le meilleur résultat ?
Crawlen, indexeren & ranken
Il s'agit de l'exploration, de l'indexation et du classement. L'exploration de pages web consiste à collecter et à stocker des informations, telles que du contenu et des images, dans la base de données ou la bibliothèque. Comme dans une vraie bibliothèque, les informations obtenues sont archivées et classées, par exemple par thème et par intention de recherche.
Ensuite, la base de données va classer ces informations indexées dans les résultats de recherche en fonction d'une requête.
Lorsque vous effectuez une recherche, le moteur de recherche génère une liste de résultats susceptibles de répondre à la requête.
Indexabilité et budget d'exploration
On dirait qu'il faut attendre que les robots des moteurs de recherche passent devant la page web pour tout crawler, indexer et classer. Malheureusement, ce n'est pas si simple. Les facteurs importants sont l'indexabilité et le budget d'exploration.
Le budget d'exploration détermine le nombre de pages que le moteur de recherche peut explorer quotidiennement. Si votre budget d'exploration n'est pas optimal, toutes vos pages ne seront pas indexées et n'apparaîtront donc pas (rapidement) dans les résultats de recherche. Nous présentons 9 conseils pour améliorer l'indexabilité.
Benieuwd wat Google zelf te zeggen heeft over Crawl Budget? Bekijk dan onderstaande video!
1. Suivre l'état du crawl avec Google Search Console
Les erreurs de statut de crawl peuvent indiquer un problème plus profond sur votre site internet. Il est important de vérifier l'état du crawl tous les mois. De cette façon, vous pouvez identifier les éventuelles erreurs qui affectent la performance globale de votre site internet. C'est littéralement la première étape du référencement, car sans elle, tous les autres efforts ne valent rien.
Pour examiner certaines de ces erreurs, utilisez l'outil d'inspection d'URL pour voir comment Google voit votre site internet. Dans l'exemple ci-contre, il n'y a aucun problème.
Erreurs d'indexation courantes et solutions
Si votre site internet a la malchance de connaître une erreur de crawl, il peut s'agir d'une simple correction ou d'un problème technique beaucoup plus important.
Les erreurs d'exploration les plus courantes sont les suivantes :
Si une page n'est pas récupérée et affichée correctement, cela peut indiquer une erreur DNS plus profonde qui doit être corrigée par votre fournisseur DNS.
Pour corriger une erreur de serveur, il faut enquêter sur l'erreur en question. Les erreurs les plus courantes sont les suivantes : dépassement de délai, échec ou refus de connexion ou absence de réponse. En général, une erreur de serveur est temporaire, mais si le problème persiste, vous devez contacter directement le fournisseur d'hébergement.
Les erreurs dans le fichier robots.txt peuvent être plus problématiques. Si le fichier robots.txt renvoie une erreur 200 ou 404, cela signifie que les moteurs de recherche ont du mal à le récupérer. Vous pouvez soit soumettre un fichier robots.txt, soit éviter complètement le protocole. Dans ce dernier cas, vous pouvez choisir de placer manuellement des pages en mode "no-index" afin qu'elles ne soient pas explorées et indexées.
En corrigeant rapidement ces erreurs, vous vous assurez que toutes vos pages seront explorées et indexées la prochaine fois que le robot du moteur de recherche visitera votre site internet.
2. Créer des pages web adaptées aux mobiles
Avec l'index mobile-first, la version mobile est considérée comme la version principale de votre site internet. Ainsi, avec l'index mobile-first, Google examine d'abord la version mobile et lui donne plus de poids dans son classement.
Il existe de nombreux ajustements techniques qui peuvent instantanément rendre votre site internet plus adapté aux mobiles, notamment :
Responsive webdesign
Paramétrer les métatags des points de vue pour les navigateurs et les écrans
Optimiser et compresser les images pour accélérer les temps de chargement
Réduire la taille des éléments de l'interface utilisateur sur la page
Veillez à tester votre site web sur une plateforme mobile et effectuez un test via Google PageSpeed Insights.
La vitesse de la page est un facteur de classement important et peut affecter la rapidité avec laquelle les moteurs de recherche peuvent explorer et indexer votre site internet.
Comment fonctionne exactement l'indexation mobile first de Google ? Martin Splitt explique !
3. Mettre le contenu à jour régulièrement
Les moteurs de recherche exploreront plus régulièrement votre site internet si vous publiez régulièrement du nouveau contenu ou mettez à jour l'ancien. Si vous produisez régulièrement du contenu, vous indiquez aux moteurs de recherche que votre site internet est en constante évolution et qu'il doit donc être exploré plus souvent pour atteindre le public visé.
En outre, les dernières tendances en matière de référencement montrent que la mise à jour de l'ancien contenu devient de plus en plus importante. Cela peut même vous permettre d'augmenter le trafic SEO !
4. Soumettre un sitemap
L'une des meilleures astuces pour une bonne indexation reste la soumission d'un sitemap à Google Search Console.
Vous pouvez créer une version XML à l'aide d'un générateur de sitemap ou en créer une manuellement dans Google Search Console.
Dans la vidéo ci-dessous, Daniel Waisberg explique ce qu'est un sitemap, si vous en avez besoin et comment le soumettre à la console de recherche de Google.
5. Optimiser la structure des liens internes
La mise en place d'une structure de liens internes cohérente est essentielle pour garantir que votre site internet est non seulement bien indexé, mais aussi bien organisé. Une bonne structure permet aux moteurs de recherche de parcourir et d'indexer toutes les pages.
La création de catégories sous lesquelles des pages connexes peuvent apparaître peut aider davantage les moteurs de recherche à comprendre et à afficher correctement le contenu des pages en fonction des recherches.
Neil Patel explique ce qu'il faut faire et ce qu'il ne faut pas faire lorsqu'on commence à créer des liens internes :
6. Liens profonds vers des pages peu accessibles
Si une page de votre site internet ne peut pas être explorée ou prend beaucoup de temps à être indexée, vous pouvez stimuler l'indexation en obtenant un lien sur un domaine externe.
Il s'agit d'une stratégie particulièrement utile pour promouvoir le nouveau contenu de votre site internet et l'indexer plus rapidement. De plus, les backlinks contribuent au classement sur certains mots-clés.
7. Réduire les ressources sur la page et augmenter les temps de chargement
Forcer les moteurs de recherche à explorer des images volumineuses et non optimisées consommera rapidement votre budget d'exploration et empêchera le reste des pages de votre site internet d'être indexées (régulièrement).
Les moteurs de recherche ont également du mal à explorer certains éléments du backend de votre site internet. Par exemple, Google a eu du mal à explorer JavaScript dans le passé. D'autres sources, telles que Flash et CSS, peuvent également présenter des performances médiocres sur les appareils mobiles et absorber le budget d'exploration. Dans un sens, il s'agit d'un scénario perdant-perdant où la vitesse de la page et le budget d'exploration sont sacrifiés au détriment d'éléments intrusifs sur la page.
Veillez à optimiser la vitesse de votre page web, en particulier sur mobile, en réduisant les ressources sur la page, telles que les images et les vidéos. Vous pouvez également activer la mise en cache et la compression pour aider les robots d'indexation à explorer votre site internet plus rapidement.
Pourquoi la vitesse de votre site internet est-elle importante ? Martin Splitt (Developer Advocate, Google) et Eric Enge (General Manager of Digital, Perficient) s'expriment sur ce sujet...
8. Pages avec balises noindex
Une balise noindex est une balise méta qui indique aux moteurs de recherche de ne pas inclure certaines pages dans leur index.
Au fil du temps, il peut être judicieux d'ajouter une balise noindex aux pages de votre site internet, par exemple aux pages dupliquées ou aux pages qui ne sont pas suffisamment importantes pour être incluses dans l'index. Dans ce dernier cas, on peut penser à une page de remerciement qui suit une commande.
En excluant ainsi des pages de l'exploration et de l'indexation, vous vous assurez que le budget d'exploration est consacré aux pages importantes, ce qui favorise l'indexation.
9. Supprimer le contenu dupliqué
La présence d'une grande quantité de contenu dupliqué peut considérablement ralentir votre vitesse d'exploration et absorber votre budget d'exploration. Vous pouvez résoudre ces problèmes en empêchant l'indexation de ces pages (balise noindex) ou en plaçant une balise canonique sur la page que vous souhaitez indexer.
Dans le même ordre d'idées, il est utile d'optimiser les balises méta, telles que le titre et la description, de chaque page individuelle afin d'éviter que les moteurs de recherche ne considèrent des pages similaires comme du contenu dupliqué lors de leur exploration.
Vous voulez savoir exactement comment Google traite le contenu dupliqué ? Matt Cutts explique comment.
Conclusion
Les problèmes de crawling et d'indexation sont largement liés à vos propres connaissances en matière de référencement et de conception web. Si vous bricolez constamment sur le backend, vous avez peut-être identifié ces problèmes à temps et ainsi empêché qu'ils ne commencent à affecter vos classements.
Si vous n'êtes pas sûr, lancez une analyse rapide dans Google Search Console pour voir si vos pages sont atteintes par les robots d'indexation de Google. Les résultats peuvent être très instructifs !
Ce blog a été rendu possible en partie grâce à Jeroen de Promoboer.
