Правильний Robots.txt для WordPress
Помилкові рекомендації інших блогерів для Robots.txt на WordPress
Спірні рекомендації інших блогерів для Robots.txt на WordPress
Оцініть статтю
Перевірте в Яндекс.Вебмастере і Google Search Console, що всі потрібні веб-документи (посилання) індексуються.
В Яндексі закриті feed, tag, прямі посилання на деякі старі картинки. Трошки ще не розібрався. Роботс показує без помилок. Гугл лається на ці 2 рядки -
Clean-Param: utm_sourceutm_mediumutm_campaign
Clean-Param: openstat
Ви не туди дивіться. Така перевірка покаже тільки наявність помилок в синтаксисі. Загалом, краще вже проконсультуватися з фахівцем.
Гугл - так, завжди лається на ці два рядки. Саме тому, що він не знає таких директив і вважає, що ви неправильно написали команду. Але ці рядки до Гуглу і не відносяться. Це для яндекса.
Перевірте в Google Search Console і Яндекс.Вебмастере, що роботи цих пошукових систем індексують картинки. Якщо немає, подивіться, яке саме правило у вас не спрацьовує і внесіть необхідні корективи.
Немає robots.txt на всі випадки життя.
Наприклад, якщо у вас з якихось причин, унікальним для вашого сайту, зображення будуть зберігатися з великим рівнем вкладеності, то потрібно вносити зміни до відповідних правила.
До речі, через який сервіс ви дивитеся інформацію?
Через Bing (bing_com / webmaster / tools / mobile-friendliness)
От цікаво те, що зазначені Бінгом картинки і скрипти індексуються з перевірки, яку Ви вказали спробувати. Це Bing глючить або все ж є проблема. Підкажіть будь ласка, як ще раз переконатися, що ці файли не заблоковані?
А sitemap.xml.gz тільки тоді прописувати, коли є плагін Google XML Sitemap.
sitemap.xml.gz потрібно прописувати тоді, коли є коректний файл sitemap.xml.gz
З приводу з'явилися url, які стали віддавати помилку 404 - потрібно дивитися, через що вони з'явилися. Може бути, до цього був інший плагін генерації xml-карт сайту, плагін поміняли - url змінилися.