Crawler

Автоматизирана част от софтуера, който сканира уеб сайтовете. Използва се от Google за намиране на ново съдържание и за оценка на качеството на уеб страниците за неговия индекс.

Tags: