Джон Мюллер из Google снова сказал, что лучший способ заблокировать сканирование Google и последующую индексацию вашего промежуточного сайта - это заблокировать GoogleBot и других людей с помощью аутентификации.
Следует отправить запрос на доступ к промежуточному сайту, потребовав от них ввести действительное имя пользователя и пароль для доступа к промежуточной среде.
Как сказал Мюллер:
«Я считаю, что большинство разработчиков и оптимизаторов уже знают об этом, но на сегодняшний день это лучшее решение. Просто будьте осторожны со своими промежуточными сайтами. Вы обычно не хотите, чтобы Google их индексировал, и вы не хотите, чтобы случайно запустили механизм».
Более подробно можно почитать в Твиттере:
https://twitter.com/JohnMu/status/1379099696707334152
