En 2007, Google introdujo un mecanismo que permite a los remitentes o propietarios de sitios verificar que Googlebot es conocido por sus verificaciones DNS inversas. Pero ahora, Google también ha decidido publicar una lista de direcciones IP que Googlebot usará para explorar su sitio.
Google ha publicado dos archivos JSON diferentes con la lista de direcciones IP que Googlebot puede usar:
(1) Puede identificar Googlebot por dirección IP haciendo corresponder la dirección IP del robot de exploración en la lista de direcciones IP de Googlebot en este archivo JSON.
(2) Para todos los demás robots de exploración de Google, compare la dirección IP del robot de exploración con la lista completa de direcciones IP de Google en este archivo JSON.
Supongo que estas direcciones IP pueden cambiar de vez en cuando, por lo que puede ser juicioso para verificar las actualizaciones diarias de los archivos JSON, depende de usted automatizar los scripts para usar esta lista de direcciones IP.
Es increíble tenerlos publicados oficialmente por Google. Tenga en cuenta que existen otros métodos para verificar el repertorio de Googlebot aquí.
Le pregunté a John Mueller de Google por qué están haciendo esto ahora, ¿por qué el DNS inverso no es correcto? Jean respondió Gorjeo diciendo «esto facilita un poco la tarea de algunos sitios (CDN, etc.) y los viejos problemas/riesgos que se leen en la máscara tienen que desaparecer en su mayor parte, así que…»
Esto facilita un poco la tarea de algunos sitios (CDN, etc.), y los viejos problemas / riesgos relacionados con la máscara de enmascaramiento tienen que desaparecer en su mayor parte, por lo tanto pic.twitter.com/PgsGYBzn6i
– Juan 🧀 (@JohnMu) 10 noviembre 2021
Foro de discusión Gorjeo.