En primer lugar, cuando se realiza una búsqueda en Google, no se busca en la web, sino en el índice que Google hace de toda la web, o al menos, de la parte que puede acceder.
Este índice se crea con varias arañas, programas de software que exploran un grupo de páginas web, siguen los enlaces que contienen y exploran las páginas a las que dirigen, siguen sus enlaces y exploran las páginas a las que dirigen, y así sucesivamente hasta indexar miles de millones de páginas almacenadas en miles de máquinas.
