Как оптимально настроить персонализированные тэги robots ??

Но есть одна тонкость. Настройки заголовков не должны пересекаться с мета-тегами и robots.txt. То есть Если насчёт какого-либо раздела блога есть мета-тег или запись в robots, тогда то же самое в заголвках будет иметь самый низкий приоритет. А читает заголовки только Гугл и именно они позволяют полностью исключить из поиска ярлыки и архивы (вышеописанные варианты не исключают из поиска эти разделы, а лишь закрывают описания к ссылкам, Гугл всё равно индексит и архивы и ярлыки, но не суёт их в выдачу, зато показывает по конкретному запросу).
Вывод какой? Чтобы использовать заголовки, надо перестроить блог так, чтобы безопасно можно было убрать из мета-тегов записи об архивах и ярлыках. При этом следует учесть, что в Яндексе всё будет индексироваться, значит ярлыки и архивы должны быть сео-безопасны, без дублей.
Не думаю, что у многих хватит опыта так сделать, поэтому юзайте мета-теги и robots.