У меня совсем молодой сайт для людей, не заметила никаких изменений. Но вашу проблему заметили многие, ее обсуждают, но внятных ответов пока нет, и никаких официальных пояснений. Можно предположить, что все это произошло в связи с Баден-Баден.
Несколько часов назад Яндекс снова начал индексировать наши новые вопросы:
Так что дело, видимо, в каких-то временных сбоях, а не в отсутствии мобильной версии и не в политических спорах (в ЖЖ споры куда жёстче, однако, Яндекс этот сайт "видит").
Так что можно снова задавать вопросы.
Чтобы указать поисковой системе что на странице индексировать, а что нет нужно использовать тег <noindex> для блока, который нужно скрыть от индексации, а так-же в тег <a> нужно добавить аттрибут rel="nofollow". Причем использование данного атрибута не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить поисковику и заниматься индексацией страницы, на которую она указывает.
Иными словами - в robots.txt вносить ничего не нужно, нужно менять саму страницу\страницы\ша<wbr />блон\блок на которой находится счетчик.
Ну это буквально в двух словах, более подробно об этом теге и атрибуте можно почитать тут
Мне кажется что этот вопрос уже неактуален, так как уже приближается конец 2017 года. Индексация, график, годы, дни, время ну и все такое)) В целом он такой же как и был в 2015 году. Скорее всего так. Всего вам доброго.)
Это делается очень просто - копируем ссылку этого вопроса и вводим прямо в строку поиска Яндекса (или другого поисковика). Если страница уже проиндексирована, то она будет стоять на первом месте в выдаче, а если нет, то ее просто не будет.
Возьмем для примера ссылку на Ваш вопрос: http://www.bolshoyvopros.ru/questions/1753630-kak-proverit-indeksiruetsja-li-vop<wbr />ros-na-bv-v-jandekse.html
На момент написания этого ответа Яндекс и Бинг эту страницу еще не "увидели", а вот Гугл и Поиск Мэйл уже проиндексировали :).
