En este vídeo de hoy vamos a configurar el archivo Robots.txt que es muy importante para el posicionamiento y también para la seguridad de nuestra web ante ataques de virus, hackers, etc. Con este archivo vamos a ganar en velocidad de carga y a blindarnos de posibles ataques externos.
Además con este archivo robots.txt vamos a decirle a Google, Yahoo, Bing, etc, qué es lo que queremos que aparezca en los buscadores de nuestra web y qué es lo que no.
También vamos a pedir que no nos indexe los contenidos duplicados que vayamos creando en la web por error, páginas borradas, disminuiremos los recursos que gasta el consumidor, y demás.
Cómo ver el archivo Robots.txt de otras webs
Este archivo es público y lo puede ver todo el mundo. Para ver como se ha configurado el robots.txt de una página específica, simplemente hay que teclear esta url;
www.paginaweb.com/robots.txt
en “paginaweb” evidentemente pones la web que quieras. Así puedes cotillear un poco como lo están haciendo los demás.
Crear Archivo Robosts.txt
Por defecto te aparecerá estos códigos básicos;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Esto significa que permitimos que indexen el contenido todos los motores de búsqueda, el acceso a Ajax para acceder al wordpress y no se permite que indexe la página wp-admin.
Esto es bastante básico y tenemos que mejorarlo.
Lo que verás en el vídeo será que evite que se indexe contenido duplicado, como las páginas de autor, comentarios, etc, desbloquear recursos CSS y JS, añadir el sitemap al archivo robots.txt para que lo indexe más rápidamente, códigos de seguridad para que no entren en archivos delicados del wordpress, etc.
¿Cómo subir el archivo?
Principalmente hay 3 formas de subir el robots.txt a nuestro servidor. Veremos la forma de subirlo por medio de FTP, y también desde nuestro panel de control del servidor hosting. Una tercera forma de subirlo es mediante un plugin de SEO que veremos en la clase 7.
Cualquiera de estas tres formas es válida para subir nuestro archivo.
Como ya os dije, esto no lo hace todo el mundo porque lo desconocen y por eso es importante hacerlo en los inicios de nuestro proyecto web ya que, en definitiva, será más rápida y segura de posibles ataques externos.
Temario del Curso:
4# Crear un Sitemap en Search Console
5# Poner Código de seguimiento de Google Analytics
8# Mejorar Velocidad de carga de la web