Crawler – сканиране на уеб съдържание

Crawler – сканиране на уеб съдържание

Автоматизирана част от софтуера, който сканира уеб сайтовете. Използва се от Google за намиране на ново съдържание и за оценка на качеството на уеб страниците за неговия индекс.