10 Robot Che Dovresti Conoscere

I bot e le botnet sono comunemente associati a criminali informatici che rubano dati, identità, numeri di carte di credito e peggio. Ma i robot possono anche servire a buoni scopi. Separare i robot buoni da quelli cattivi può anche fare una grande differenza nel modo in cui proteggi il sito Web della tua azienda e assicuri che il tuo sito ottenga il traffico Internet che merita.

I robot più validi sono essenzialmente i crawler inviati dai più grandi siti Web del mondo per indicizzare i contenuti per i loro motori di ricerca e piattaforme di social media. VUOI che quei robot ti visitino. Ti portano più affari! Chiuderli come parte della strategia per bloccare i robot cattivi è una strategia perdente.

Qui, in ordine inverso rispetto alla probabilità che visitino qualsiasi sito Web, sono i 10 buoni robot più importanti che dovresti conoscere ora. Assicurati che la tua strategia di sicurezza accolga questi robot (o almeno sai perché hai scelto di bloccarli)

Ulteriori informazioni sui 10 migliori robot migliori

1. Googlebot: Googlebot è il bot di scansione web di Google (a volte chiamato anche “ragno”). Googlebot utilizza un processo algoritmico: i programmi per computer determinano quali siti sottoporre a scansione, con quale frequenza e quante pagine recuperare da ciascun sito. Il processo di ricerca per indicizzazione di Googlebot inizia con un elenco di URL di pagine Web, generati da precedenti processi di ricerca per indicizzazione e ampliati con i dati della Sitemap forniti dai webmaster. Quando Googlebot visita ciascuno di questi siti Web, rileva i collegamenti (SRC e HREF) su ciascuna pagina e li aggiunge al suo elenco di pagine da sottoporre a scansione. Nuovi siti, modifiche a siti esistenti e link non funzionanti vengono annotati e utilizzati per aggiornare l’indice di Google.
2. Baiduspider – Baiduspider è un robot del motore di ricerca cinese Baidu. Baidu (cinese: 百度; pinyin: Bǎidù) è il principale motore di ricerca cinese per siti Web, file audio e immagini.
3. MSN Bot / Bingbot – Ritirato nell’ottobre 2010 e rinominato Bingbot, si tratta di un robot di scansione web (tipo di bot Internet), distribuito da Microsoft per fornire Bing (motore di ricerca). Raccoglie documenti dal Web per creare un indice ricercabile per Bing (motore di ricerca).
4. Bot Yandex: il bot Yandex è il crawler del motore di ricerca di Yandex. Yandex è una società Internet russa che gestisce il più grande motore di ricerca in Russia con una quota di mercato di circa il 60% in quel paese. Yandex si è classificato come il quinto motore di ricerca più grande al mondo con oltre 150 milioni di ricerche al giorno ad aprile 2012 e oltre 25,5 milioni di visitatori.
5. Soso Spider – Soso.com è un motore di ricerca cinese di proprietà di Tencent Holdings Limited, che è ben noto per l’altra sua creazione QQ. Dal 13 maggio 2012, Soso.com è classificato come il 36 ° sito Web più visitato al mondo e il 13 ° sito Web più visitato in Cina, secondo Alexa Internet. In media, Soso.com ottiene 21.064.490 visualizzazioni di pagina ogni giorno.
6. Exabot – Exabot è il crawler per ExaLead fuori dalla Francia. Fondata nel 2000 dai pionieri dei motori di ricerca, Dassault Systèmes, ExaLead offre software di ricerca e accesso unificato alle informazioni.
7. Sogou Spider – Sogou.com è un motore di ricerca cinese. È stato lanciato il 4 agosto 2004. Ad aprile 2010, ha un ranking di 121 nelle classifiche Internet di Alexa. Sogou fornisce un indice fino a 10 miliardi di pagine Web.
8. Google Plus Share – Google Plus ti consente di condividere consigli con amici, contatti e il resto del Web – sulla ricerca di Google. Il pulsante +1 aiuta a inizializzare le funzionalità di condivisione istantanea di Google e fornisce anche un modo per dare il tuo timbro pubblico di approvazione.
9. Facebook: Facebook consente ai suoi utenti di inviare link a contenuti Web interessanti ad altri utenti di Facebook. Parte del modo in cui funziona sul sistema di Facebook comporta la visualizzazione temporanea di determinate immagini o dettagli relativi al contenuto Web, come il titolo della pagina Web o il tag di incorporamento di un video. Il sistema di Facebook recupera queste informazioni solo dopo che un utente ha fornito un collegamento.
10. Google Feedfetcher: utilizzato da Google per acquisire feed RSS o Atom quando gli utenti scelgono di aggiungerli alla loro home page di Google o Google Reader. Feedfetcher raccoglie e aggiorna periodicamente questi feed avviati dall’utente, ma non li indicizza in Ricerca Blog o altri servizi di ricerca di Google (i feed vengono visualizzati nei risultati di ricerca solo se sono stati sottoposti a scansione da Googlebot).