Se trata de un fichero con información para topar instrucciones a los robots de google en relación a los elementos que pueden rastrear y cuáles no.
Esto es similar a los sueldos de los de otros campos de desarrollo, https://bookmarkfriend.com/story18147617/la-guía-más-grande-para-post-redes-sociales