El robots.txt del boe.es para que los buscadores no listen indultos

via meneame qure a la vez es via twitter: http://www.boe.es/robots.txt

Referencias: http://e.meneame.net/story/robots-txt-b ... -corruptos https://twitter.com/soydelbierzo/status ... 1491671041

Lo mejor es que si miras el robots.txt no te hace falta google xD

EDIT: Estoy mirando pdfs random del robots.txt y bue, aqui hay de todo. Desde perdidas de titulos universitarios, declaraciones de concursos... porque carajo los bloquean de los buscadores? o_O
Lo más triste es que te están dando los datos directamente, así no hace falta ni buscar XD

Nah, digo yo que se limitarán a bloquear datos personales en general.
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD

XD
ShadowCoatl está baneado por "Saltarse el ban con un clon"
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD


Acojonante... tapando toda la mierda del Undangarín.
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD

Joder lo han vetado hasta en el robots.txt [qmparto]
Los buscadores son ETA.
madre mía, que misterios en el BOE.jajaja

Nunca me había parado a mirar los archivos robots.txt, será cuestión de mirar algunas otras web a ver que no quieren que encontremos
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD


[boing]

Brutal [qmparto]

robots.txt [rtfm]
basslover escribió:http://www.elotrolado.net/robots.txt [rtfm]

Bahhh... eso no tiene ninguna gracia, queremos SANGRE Y MORBOOOO!!!! (no, en serio, es que es un robots.txt demasiado normal, bloqueando las páginas dinámicas que causarían mas trafico absurdo que otra cosa y "rastreadores" concretos)
ShadowCoatl escribió:
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD


Acojonante... tapando toda la mierda del Undangarín.


Sin palabras, algo en plan: esto no lo verá la mayoría de la gente, y los pocos que lo vean nos la soplan [facepalm]
Download ninja??, eso que es? xDDD ....., cracks o sparrows escondidos en la web?
¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?
LLioncurt escribió:¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?

El ataque del 67. Nunca olvides, nunca perdones
ElChabaldelPc escribió:
LLioncurt escribió:¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?

El ataque del 67. Nunca olvides, nunca perdones


No sé si lo sabéis pero hablar en EOL sobre lo que sucedió en el 67 está prohibido, os podéis comer un ban.
Silent Bob escribió:Este es mas "gonito":

http://www.google.com/killer-robots.txt

[+risas] ¬_¬ [jaja]

Terminator is coming

Vaya tela con esconder toda la mierda debajo de la alfombra.
Ashdown está baneado por "faltas de respeto"
andoba, te he reportado por citar. Te sugiero que borres toda referencia a lo de Octubre del 67.
Silent Bob escribió:Este es mas "gonito":

http://www.google.com/killer-robots.txt

[+risas] ¬_¬ [jaja]


[qmparto] [qmparto] [qmparto] [qmparto] [qmparto] [qmparto] [qmparto] [qmparto] [qmparto] [plas] [plas] [plas] [plas]

Saludos
Yo creo que si que deberían ir baneando a los que mencionan el octubre del 67 (por pesaos).
eboke escribió:El de la Casa Real es más corto: http://www.casareal.es/robots.txt

XD


Jaja, Urdangarín ha pasado de "empalmado" a "apestado"
Hombre, yo entiendo que se haga esto con materias sensibles como son los indultos, concursos, etc.

No sé, si yo busco el nombre de mi vecino no tengo por qué enterarme de que en Abril del 87 fue indultado tras haber sido condenado por un delito de robo por fuerza. (Que es el ejemplo que me ha salido al meterme aleatoriamente en uno de los pdf)

http://elpais.com/diario/2011/07/07/rad ... 50215.html

El BOE, obligado a impedir el rastreo de los buscadores


Protección de Datos exige garantizar el derecho al olvido en Internet
ElChabaldelPc escribió:
LLioncurt escribió:¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?

El ataque del 67. Nunca olvides, nunca perdones


¿Pero qué es eso?

Si alguien quiere contarlo, por MP...

Saludos.
andoba escribió:
ElChabaldelPc escribió:
LLioncurt escribió:¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?

El ataque del 67. Nunca olvides, nunca perdones


No sé si lo sabéis pero hablar en EOL sobre lo que sucedió en el 67 está prohibido, os podéis comer un ban.


ssssshhhhh, por favor, no desenterremos viejos baneos que algunos todavia tenemos pesadillas.

La pagina del PSOE no tiene Robots.txt (Se ve que tiene una informatica/secretaria de esa del tribunal de cuentas), la del PP tiene pero no tiene nada interesante:

#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:    http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/


Se ve que los secretos los tiene en una Web en B
nicofiro escribió:El BOE, obligado a impedir el rastreo de los buscadores


Protección de Datos exige garantizar el derecho al olvido en Internet


El vacileo del barbas es descomunal...

Imagen
Kurace escribió:
ElChabaldelPc escribió:
LLioncurt escribió:¿Alguien me explica por qué están vetadas todas las búsquedas entre el 1 y el 31 de octubre de 1967?

El ataque del 67. Nunca olvides, nunca perdones


¿Pero qué es eso?

Si alguien quiere contarlo, por MP...

Saludos.


Sólo tienes que buscar octubre del 67 en Google. Ahora, en ningún lugar vas a encontrar más que referencias sin decir nada claro, ya que los moderadores de todos los foros tienen órdenes de censurar, que no quieren que el gobierno les cierre el chiringuito.
Kurace escribió:
¿Pero qué es eso?

Si alguien quiere contarlo, por MP...

Saludos.


Los mas jovencitos no os acordais pero los que ya tenemos cierta edad lo recordamos como el año en que atacamos, que es la unica referencia que vas a encontrar al respecto.
nicofiro escribió:Hombre, yo entiendo que se haga esto con materias sensibles como son los indultos, concursos, etc.

No sé, si yo busco el nombre de mi vecino no tengo por qué enterarme de que en Abril del 87 fue indultado tras haber sido condenado por un delito de robo por fuerza. (Que es el ejemplo que me ha salido al meterme aleatoriamente en uno de los pdf)

http://elpais.com/diario/2011/07/07/rad ... 50215.html

El BOE, obligado a impedir el rastreo de los buscadores


Protección de Datos exige garantizar el derecho al olvido en Internet

Si se publica en el BOE es que es de acceso público, por lo que la LOPD no tiene nada que decir. Además, esto más que dificultarlo lo facilita, porque aparecen todos juntos.

Veo que hay un sentencia, pero no tiene mucho sentido, en la propia noticia lo pone. Ni los robots.txt impiden el indexado de los buscadores si estos no quieren, ni es una forma de anonimato porque pasas de tener un montón de artículos dispersos a juntarlos todos en un txt, consiguiendo el efecto contrario.
dark_hunter escribió:Si se publica en el BOE es que es de acceso público, por lo que la LOPD no tiene nada que decir. Además, esto más que dificultarlo lo facilita, porque aparecen todos juntos.

Veo que hay un sentencia, pero no tiene mucho sentido, en la propia noticia lo pone. Ni los robots.txt impiden el indexado de los buscadores si estos no quieren, ni es una forma de anonimato porque pasas de tener un montón de artículos dispersos a juntarlos todos en un txt, consiguiendo el efecto contrario.


Pero es que el acceso público sigue existiendo. Cualquiera puede acceder a los indultos. Lo que pasa es que si yo busco un nombre, Google no me saqca como primer resultado el indulto del año de la catapún. Yo lo entiendo perfectamente. El imperativo legal de publicar cosas en el BOE tiene su orígen en tiempos donde internet ni siquiera se intuía, no me parece mal que se limite un poco la accesibilidad de datos personales sensibles.

Sobre la solución técnica que haya tomado el BOE no me pronuncio que yo de eso no entiendo un carajo.
La solucion tecnica que han tomado se basa en denegar el indexado de paginas completas, dias completos etc. Vamos, si el 31 de octubre del 97 aparece un indulto en el BOE, directamente la pagina completa del BOE esta bloqueada del indexado
Zokormazo escribió:La solucion tecnica que han tomado se basa en denegar el indexado de paginas completas, dias completos etc. Vamos, si el 31 de octubre del 97 aparece un indulto en el BOE, directamente la pagina completa del BOE esta bloqueada del indexado

Y si es del 67 ya ni te cuento.

Ahora en serio, ¿es verdad que los buscadores pueden ignorar los robots.txt? Porque de ser así casi que consiguen lo contrario de lo que buscan. Además, es inútil hacer esto incluso aunque la gente desconozca la existencia de los robots.txt cuando los indultos salen también en los periódicos. De hecho hay una web dedicada únicamente a listar todos los indultos publicados en el BOE.
Zokormazo escribió:La solucion tecnica que han tomado se basa en denegar el indexado de paginas completas, dias completos etc. Vamos, si el 31 de octubre del 97 aparece un indulto en el BOE, directamente la pagina completa del BOE esta bloqueada del indexado


Bueno, pero por lo que he visto están bastante agrupados los indultos no?

Por otro lado, siendo un lego en esta materia, no se me ocurre una forma de "ocultar" los indultos individualmente sin borrarlos del todo (ya que debe mantenerse el acceso público a quién lo busque específicamente).

dark_hunter escribió:Y si es del 67 ya ni te cuento.

Ahora en serio, ¿es verdad que los buscadores pueden ignorar los robots.txt? Porque de ser así casi que consiguen lo contrario de lo que buscan. Además, es inútil hacer esto incluso aunque la gente desconozca la existencia de los robots.txt cuando los indultos salen también en los periódicos. De hecho hay una web dedicada únicamente a listar todos los indultos publicados en el BOE.


Hay una diferencia grande entre que salga en un periódico y que salga en google. En primer lugar ningún periódico publica todos los indultos. Si yo he sido condenado por un tirón de un bolso y me indultan, no va a venir el País a sacar la noticia porque no soy nadie. La otra diferencia es que si lo publican, el acceso es mucho menos inmediato. En google tu pondrías mi nombre y podría aparecer directamente mi indulto, en cambio para buscar la noticia de prensa normalmente tendrías que buscarla más específicamente. Pero sobre todo está el filtro de que los medios de comunicación generalmente no se van a interesar por indultos que no tengan un interés general.

La web del indultómetro si te fijas registra los indultos pero sin dar nunca el nombre. (Salvo un puñado de casos mediáticamente destacados)

http://www.elindultometro.es/ayuda.html#LOPD
Me refería más bien a esta, que da todos los nombres y supongo que podrá ser indexada en Google.

http://elindultodeldia.wordpress.com/
dark_hunter escribió:Me refería más bien a esta, que da todos los nombres y supongo que podrá ser indexada en Google.

http://elindultodeldia.wordpress.com/


Ah, esa no la conocía... pues habría que ver si eso está permitido. En cualquier caso, aquí ya la responsabilidad ya sería del titular de esta web, no del BOE. Entre la necesidad de publicar medidas así y proteger la privacidad de los implicados, tampoco se puede pedir al BOE que no publique nada, me parece un compromiso digno. Si luego terceros quieren saltarselo, es su responsabilidad.
34 respuestas