Web superficial vs Web profunda

Cuando se realiza una búsqueda, a pesar de que los resultados puedan mostrarnos miles de páginas encontradas, estás solo representan una pequeña parte de lo que existe online; a esta parte se le ha denominado web superficial o web visible. El resto de la información, lo que se denomina web profunda o invisible, son datos contenidos en catálogos, revistas digitales, blogs, entradas a diccionarios y contenidos de sitios que requieren de autentificación aunque sean gratuitos; esto además de otro contenido que no se muestra a través de los buscadores o metabuscadores convencionales.

Web superficial

Son todos aquellos sitios que son indexados por los robots de los buscadores tradicionales y que puede ser recuperada mediante una consulta a través de los formularios de consulta.

Estos sitios web son visibles debido a que:

• su información no está contenida en bases de datos
• es de libre acceso
• no se requiere la realización de un proceso de registro para acceder a la información.
• mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace. 

Web profunda

Toda la información que se almacena y se accesa mediante bases de datos no está disponible o no puede ser indexada por los buscadores convencionales, esta parte de la red se considera la web invisible.

La invisibilidad de esta información se debe a que la búsqueda resultante de esta información se genera mediante páginas de consulta dinámicas (PHP, ASP, etc) y que no tienen por sí mismas una URL fija, ya que se construyen únicamente cuando se realiza la consulta y desaparecen cuando esta culmina.

Entre la web profunda encontramos:

La web opaca que se caracteriza por que no se incluyen en los buscadores (aunque pudieran estarlo) debido a:

• Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
• Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
• Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
• URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.

La web privada cuya información se excluye deliberadamente de los robots debido a:

•  Las páginas están protegidas por contraseñas.
• Contienen un archivo “robots.txt” para evitar ser indizadas.
• Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.

La web propietaria que requiere de registro y autenticación para poder accesar a los datos que contiene.

La web invisible, se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.

Ejemplos de sitios de la web invisible

The WWW Virtual Library se considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee, el creador de la web.

Academia.edu es una red social 2.0 para investigadores que cuenta con un directorio de más de 12.000 publicaciones científicas de todo el mundo, facilitando la tarea de los que buscan artículos para sus trabajos. Lanzado en septiembre de 2008, se convirtió en uno de los mayores sitios de redes sociales para universitarios en el año 2010. Actualmente tiene 830.000 visitantes mensuales y cuenta con más de 191.000 académicos de todo el mundo.

Reefseek.com es un motor de búsqueda en Internet para estudiantes e investigadores que tiene como objetivo hacer que la información académica sea de fácil acceso para todos. Busca en más de un billón de documentos, incluyendo páginas web, libros, enciclopedias, revistas y periódicos, intentando eliminar cualquier resultado no relativo a ciencia e investigación.

Jurn  es otro motor de búsqueda que permite buscar en millones de artículos libres académicos, capítulos y tesis de múltiples disciplinas (Artes, Historia, Humanidades, Negocios, Economía, Ecología, Ciencia y más).

Microsoft Academic Search  el buscador académico de Microsoft.

TechXtra  centra su información, en ingeniería, matemáticas e informática. Es posible navegar a través de una extensa lista de revistas gratuitas especializadas de ingeniería, documentos técnicos, descargas y podcasts.

Ciencia es la versión en español del portal Science.gov (http://www.science.gov/ ) para la búsqueda de información científica e investigación del gobierno de los Estados Unidos de América. Puede indexar más de 60 bases de datos y 200 millones de páginas con información científica para mostrar los resultados por subtemas, autores o fechas. También ofrece la posibilidad de búsqueda avanzada y búsqueda de imágenes.