O tamanho da web não é o que o Google consegue indexar

Internerd
Minha professora prega uma verdade ignorada pela maior parte das pessoas que usam a internet: o Google só indexa uma parte dela. O Google divulgou que passou da marca de 1 trilhão de Uniform Resource Locator’s em seu índice, aí o Techcrunch postou que o tamanho da web é diferente do tamanho do índice do Google. Mas deram a entender que a o tamanho da web é menor que esse 1 trilhão. Sites de spam, duplicados, etc etc.
Na verdade o tamanho da Web é maior do que o Google consegue indexar. Existe uma grande parte de conteúdo proibido pelo robots.txt, atrás de login e senha, servidores de universidades, etc etc.
Ou seja, a Internet é Infinita. O Google é um cavalo[1].
[1] Aquela para no olho para olhar só em uma direção e tal
