Gli “Spider” dei  motori di ricerca  

I motori di ricerca esaminano i siti web che le persone segnalano e a tale scopo alcuni, come Yahoo , si servono di personale specializzato per visionare materialmente ciascun sito che viene proposto ( ma si tratta di una stretta minoranza ) , tutti gli altri utilizzano un software specializzato chiamato “Spider” o “Robot” .

Gli “Spiders” , una volta che un sito è stato segnalato, vengono a visitare il sito analizzandone il contenuto e i relativi collegamenti ipertestuali ( links ) .

Le informazioni raccolte vengono poi utilizzate per determinare come il sito deve essere catalogato e posizionato all’interno dell’indice del motore di ricerca.

I metodi di indicizzazione utilizzati dagli spiders in genere vengono tenuti segreti dai motori di ricerca .

In ogni caso , è nel nostro interesse cercare di capire come questi operano  con lo scopo di usare le informazioni acquisite a nostro vantaggio nella fase di progettazione di una pagina web che andrà poi inserita nei motori di ricerca.

Una delle cose più importanti da tener presente nella fase di realizzazione di un sito web è quello di vedere il sito stesso dal punto di vista dello Spider .

Uno Spider può solo analizzare il testo e le parole che sono presenti nelle pagine in formato strutturato.

E’ per questo motivo che i siti web basati su frames sono molto penalizzati nel posizionamento nei motori di ricerca e addirittura molte volte non vengono per niente indicizzati.

Il formato HTML per un sito web basato su frames non è di tipo convenzionale , e tutto il contenuto è suddiviso in differenti sezioni e scripts.

Inoltre , uno spider deve essere guidato nella ricerca dei contenuti quando visita un sito web e questo lavoro viene ben svolto dai META Tags.

Gli Spider comunque non guardano solo al contenuto descrittivo del sito e alle “Meta” Keywords ( Parole chiave ) .

Se infatti vengono utilizzate le META Keywords uno spider cerca di capire quanto queste sono attinenti ai contenuti del sito

Molti Spider considerano inoltre molto importante la posizione di una particolare parola o frase chiave .

Se , ad esempio , una parola chiave e’ presente nel titolo della pagina , gli spider dei motori di ricerca danno ad essa molta rilevanza se è presente anche nelle prime sei righe del corpo della pagina stessa.

Un’altra cosa molto importante è il “peso” che viene attribuito ad una parola chiave .

Se una parola chiave appare tre volte in una pagina che contiene 100 parole avrà un peso molto più basso rispetto a una pagina che  contiene solo 30 parole .

Una pagina contenente una parola chiave che ha un “peso” rilevante viene considerata ad essa più attinente e quindi occupa una posizione più alta nei motori di ricerca per ricerche effettuate con la stessa parola chiave che diventa prominente rispetto al contenuto.

E’ senz’altro necessario cercare di ottimizzare la pagina che va inserita nei motori di ricerca per una o più parole o frasi chiave che meglio descrivono i contenuti del sito e per le quali si vuole essere ricercati.

Ma non bisogna abusare di queste tecniche , altrimenti si rischia di essere eliminati definitivamente dagli indici dei motori di ricerca .

Infatti , molti webmaster , utilizzano un numero elevatissimo di Meta Keywords ( Parole Chiave ) , ripetendo più volte una parola chiave oppure cercando di ottimizzare le proprie pagine per parole o frasi chiave utilizzate frequentemente nei motori di ricerca ma che non hanno nessun nesso con i contenuti del sito.

Queste e altre tecniche non corrette vengono ormai rilevate dagli spider dei motori di ricerca che escludono dai loro indici tali siti web.

Il modo migliore per ottenere una posizione prominente nei motori di ricerca è quello di cooperare con loro cercando di capire e seguire le loro regole.

Il modulo di AddWeb “Page Advisor” è stato progettato per  determinare come operano gli spider dei motori di ricerca nell’indicizzazione di un sito web e quali sono i fattori che tengono in considerazione nel posizionarlo ai primi posti  per una determinata parola o frase chiave .

Inoltre , “Page Advisor” consente di confrontare il proprio sito web con i tre siti che occupano le più alte posizioni in un determinato motore , dando così l’ opportunità di capire quali sono i fattori che hanno determinato tale posizionamento. E’ così possibile incorporare le medesime caratteristiche nel proprio sito web.