crawler

crawler

<kròolë> s. ingl., usato in it. al masch. – Software che naviga in automatico attraverso Internet per rilevare e prelevare contenuti trovati in rete, utilizzato per lo più dai motori di ricerca per identificare e ottenere i contenuti da indicizzare. L’identificazione dei contenuti avviene attraverso un’analisi dei link ipertestuali presenti in documenti nel formato HTML (hypertext markup language) e talvolta in altri file, per es. del tipo JavaScript o Flash. Alcuni motori di ricerca utilizzano c. distinti per tipi di contenuti da ricercare, documenti, immagini, notizie o feed RSS (really simple syndication). Il robot principale per Google è Googlebot, mentre il motore di ricerca Bing utilizza Bingbot. Alcuni c. sono utilizzati per effettuare controlli di qualità, per es. dei link o dell'HTML. I c. sono noti anche come spider, robot o bot.