Robots.txt est un fichier texte sur le serveur que vous pouvez personnaliser pour les robots des moteurs de recherche. Il indique aux robots des moteurs de recherche quels répertoires, pages Web ou liens doivent être indexés ou non dans les résultats de recherche. Cela signifie que vous pouvez empêcher les robots des moteurs de recherche d'explorer certains répertoires et pages Web ou liens de votre site Web ou blog. À présent robots.txt personnalisé est disponible pour Blogspot. Dans Blogger, l'option de recherche est liée aux étiquettes. Si vous n'utilisez pas les libellés à bon escient, vous devez interdire l'exploration des pages de résultats de recherche. Dans Blogger, par défaut, l'exploration du lien de recherche n'est pas autorisée. Dans ce robots.txt, vous pouvez également écrire l'emplacement de votre fichier sitemap. Un sitemap est un fichier situé sur un serveur qui contient les permaliens de tous les articles de votre site Web ou de votre blog. La plupart du temps, le sitemap se trouve au format XML, c'est-à-dire sitemap.xml.
Actuellement, Blogger a terminé son travail sur sitemap.xml. Désormais, Blogger lit les entrées du sitemap via le flux. Par cette méthode, les 25 messages les plus récents sont soumis aux moteurs de recherche. Si vous voulez que le moteur de recherche, les robots, ne fonctionnent que sur les 25 publications les plus récentes, vous devez alors utiliser le robots.txt de type 1 indiqué ci-dessous. Si vous définissez robots.txt comme ceci, le bot Google Adsense peut explorer l'intégralité du blog pour obtenir les meilleures performances Adsense.
Robots.txt Type 1
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: https://www.techprevue.blogspot.com/sitemap.xml
Remarque : Vous pouvez modifier le fichier robots.txt par défaut de Blogspot comme ci-dessus.'
Robots.txt Type 2
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: https://www.techprevue.blogspot.com/feeds/posts/default?orderby=updated
Noter: N'oubliez pas de remplacer le https://www.techprevue.blogspot.com par l'adresse de votre blog ou un domaine personnalisé. Si vous souhaitez que les robots des moteurs de recherche explorent les 500 publications les plus récentes, vous devez utiliser le fichier robots.txt de type 2 suivant. Si vous avez déjà plus de 500 publications sur votre blog, vous pouvez ajouter une ligne de plan de site supplémentaire surlignée en rouge. Robots.txt
Robots.txt Type 3
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500
Noter: N'oubliez pas de remplacer le https://www.techprevue.blogspot.com par l'adresse de votre blog ou un domaine personnalisé.
Expression mathématique pour les entrées de plan de site Blogger robots.txt :
Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=(m*0)+1&max-results=m Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=(m*1)+1&max-results=m Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=(m*2)+1&max-results=m Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=(m*3)+1&max-results=m . . . Sitemap: https://www.techprevue.blogspot.com/atom.xml?redirect=false&start-index=(m*n)+1&max-results=m
Où m=500 et n=1, 2, 3, 4,…, n. Si vous avez organisé des étiquettes de publication dans un bon format et une bonne expérience de l'optimisation des moteurs de recherche (SEO), vous pouvez supprimer la ligne suivante -
Disallow: /search
Le plus important : si vous ne souhaitez pas soumettre de publication ou de page de blogueur aux moteurs de recherche, vous pouvez les ajouter comme cela : pour la publication, ajoutez une ligne comme celle-ci -
Disallow: /yyyy/mm/post-name.html
Pour la page, ajoutez une ligne comme celle-ci -
Disallow: /p/page-name.html
Gérer le fichier robots.txt personnalisé de Blogger
Pour cela, veuillez suivre attentivement ces étapes. Tableau de bord ›› Blogues Réglages ›› Préférences de recherche ›› Crawlers et indexation ›› Robots.txt personnalisé ›› Éditer ›› Oui Pour mieux comprendre cela, vous pouvez vous référer à l'image ci-dessous :
J'espère que vous tirerez profit de cet article et que vous obtiendrez une meilleure présence et un meilleur classement dans les moteurs de recherche.
