Antes de la World Wide Web, hubo buscadores que intentaron organizar Internet. El primero de estos fue Archie de la Universidad McGill en 1990, seguido en 1991 por WAIS y Gopher. Los tres sistemas fueron anteriores a la invención de la World Wide Web, pero todos continuaron indizando la web y el resto de Internet durante varios años después de que apareciera la web. A 2006, aún hay servidores Gopher, aunque hay muchos más servidores web.
A medida que la red creció, se crearon los buscadores y los directorios web para localizar las páginas en la WWW y permitir a las personas encontrar cosas. El primer buscador web completamente de texto fue WebCrawler en 1994. Antes de WebCrawler, sólo se podían buscar títulos de páginas web. Otro de los primeros buscadores, Lycos, fue creado en 1993 como un proyecto universitario, y fue el primero en conseguir éxito comercial. Durantes los últimos años de 1990, tanto los directorios web como los buscadores web eran populares. Yahoo! y Altavista (fundados en 1995) fueron los respectivos líderes de la industria.
En agosto de 2001, el modelo de directorios había comenzado a ceder ante el de buscadores, mostrando el surgimiento de Google (fundado en 1990, que había desarrollado nuevos enfoques para el ordenamiento por relevancia) El modelo de directorios, aunque aún está disponible comúnmente, es menos utilizado que los buscadores.
El tamaño de las bases de datos, que había sido una característica de marketing significativa durante los primeros años de la década de 2000, fue igualmente sustituido por el énfasis en el ordenamiento por relevancia, los métodos con los cuales los buscadores intentan colocar los mejores resultados primero. El ordenamiento por relevancia se convirtió por primera vez en una cuestión importante alrededor de 1996, cuando se hizo evidente que no era práctico revisar listas completas de resultados. Por consiguiente, los algoritmos para el ordenamiento por relevancia se han ido mejorando continuamente. El método PageRank de Google para ordenar los resultados ha recibido la mayoría de la prensa, pero todos los principales buscadores refinan continuamente sus metodologías de ordenamiento con el objetivo de mejorar el orden de los resultados.
En 2006, la posición en los buscadores es más importante que nunca, tanto que la industria ha desarrollado ("posicionadores en buscadores") para ayudar a los desarrolladores web a mejorar su posición en el buscador, y se ha desarrollado un cuerpo entero de jurisprudencia alrededor de cuestiones que afectan al posicionamiento en los buscadores, como el uso de marcas registradas en metatags. La venta de posiciones en buscadores por algunos buscadores ha creado también controversia entre bibliotecarios y defensores de los consumidores.
Referencia: Wikipedia (www.wikipedia.com)
