< Tu wordpress a medida />
Como evitar contenido duplicado en Google con Robots.txt

Como evitar contenido duplicado en Google con Robots.txt

El contenido duplicado es uno de los problemas más graves que te puedes encontrar en SEO (posicionamiento en buscadores). Si Google rastrea nuestro sitio y detecta contenido duplicado, podría hacernos bajar muchos puestos o incluso eliminar nuestra web de su buscador.

Si trabajamos con WordPress lo mejor para evitar este problema es modificar el archivo robots.txt de nuestra instalación. Desde aquí, bloquearemos la indexación de las páginas de tags, autor, date, search etc… o alguna página específica que no queremos indexar como el aviso legal, información sobre cookies… etc o que tiene contenido que puede ser tratado como duplicado.

Archivo Robots

Vamos a ello, accede por FTP a la carpeta raíz de tu web, crea un archivo llamado robots.txt y añade todas estas líneas:


User-agent: *
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Disallow: /20*/
Disallow: page/*

Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /cgi-bin
Disallow: /wp-content/plugins/ 
Disallow: /wp-content/themes/ 
Disallow: /wp-includes/
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css

Disallow: /xmlrpc.php
Disallow: /?attachment_id*
Disallow: /?s= 
Disallow: /search
Disallow: /*?

User-agent: *
Allow: /feed/$ 
Disallow: /feed/ 
Disallow: /comments/feed/
Disallow: /*/feed/$ 
Disallow: /*/feed/rss/$ 
Disallow: /*/trackback/$ 
Disallow: /*/*/feed/$ 
Disallow: /*/*/feed/rss/$ 
Disallow: /*/*/trackback/$ 
Disallow: /*/*/*/feed/$ 
Disallow: /*/*/*/feed/rss/$ 
Disallow: /*/*/*/trackback/$


Con User-agent: * estamos diciendo que esta regla es para todos los rastreadores.
Disallow: Es la regla para decir que no permitimos la indexación.
Con asterisco *, indicamos cualquier número de caracteres.
Con símbolo de Dólar $, indicamos que no deben de haber más caracteres a continuación.

Podemos también bloquear alguna página específica de nuestra web, por ejemplo:
Disallow: /avisolegal
Disallow: /informacion-cookies

Esta regla de no indexación la podríamos hacer también como una función, aquí puedes ver un ejemplo:

function noindex_para_portfolio()
{
if ( is_singular( 'portfolio' ) ) {
echo '<meta name="robots" content="noindex, follow">';
}
}

add_action('wp_head', 'noindex_para_portfolios');

Y también podríamos añadirlo en nuestro header.php

<?php if($paged > 1 || is_author() || is_tag() || is_date() || is_attachment()){
  echo '<meta name="robots" content="noindex,follow" />';
} ?>

Pero lo recomendable es usar robots.txt e ir añadiendo las páginas específicas que no queremos indexar en buscadores.

¿Te ha servido de ayuda? ¿Quieres ampliar este artículo con tus experiencias? Escríbenos un comentario o rellena el formulario de contacto y te contestaremos lo antes posible.

¿Ha sido útil esta publicación?
Déjanos tu feedback para poder ayudar a otros usuarios.
0
No0

Deja un comentario