Da quando un sito web viene segnalato ai motori di ricerca viene "analizzato" periodicamente dagli spider dei motori stessi.
Gli spider iniziano, di solito, l'analisi del sito dalla home page e proseguono l'analisi seguedo i link alle altre varie pagine. Per questo tutte le pagine devono essere linkate tra di loro e, se possibile, la miglior cosa è che tutte le pagine abbiano un link alla home page (l'esempio più classico è il logo dell'azienda posizionato nella parte superiore del sito). Ho detto che l'analisi parte di solito dalla home page perchè può accadere che uno spider arrivi al sito da un Back Link esterno che punta ad una pagina interna; proprio per questo motivo è importante se non indispensabile che ci sia sempre un link che punta alla home page così lo spider la può raggiungere e da li ripartire per arrivare a tutte le altre pagine del sito.
La frequenza con la quale gli spider analizzano i siti è molto variabile. Uno spider passerà molto più spesso dove trova dei contenuti interessanti e dove rileva che questi vengano aggiornati molto frequentemente. Al contrario per quanto riguarda i siti che non aggiornano mai i contenuti, le visite non saranno molto frequenti.

Molti siti per rendere la grafica più accattivante sostituiscono i normali menù con i link alle altre pagine con menù prodotti da script realizzati in qualche linguaggio di script (il più comune è Javascript). Questi menù sono molto belli da vedere, grazie ad una sorta di effetto speciale che producono al passaggio del puntatore del mouse o al momento del click, però rendono la vita difficile agli spider che la maggior parte delle volte non riescono a seguire i link o li seguono solo in minima parte. E' pertanto vitale ai fini di un buon posizionamento nei motori di ricerca di tutte le pagine del sito web preferire i menù classici scritti in HTML. Alcuni affermano che i menù in Javascript possono essere inseriti comunque nella pagine inserendo anche una mappa del sito (che tratteremo in seguito) che punta a tutte le pagine, però la mia personale opinione è che meno si complica la vita ai motori di ricerca e meglio ci indicizzeranno.
Un'altro appunto relativo ai link è di mettere sempre l'url esteso e non quello relativo. Per esempio per indicare un link alla pagina pippo di questo sito bisognerebbe evitare di scrivere

href="pippo.html"
ma sarebbe meglio scrivere
http://www.softwaremerelli.it/guida-posizionamento-motori-ricerca/pippo.html"

A volte può accadere che non si vuole che una pagina del nostro sito venga presa in considerazione dagli spider e conseguentemente indicizzata nei motori di ricerca; qui entra in gioco il meta tag "robots". I parametri che si possono passare a questo meta tag sono 2: segnalare se indicizzare o meno la pagina (index / noindex) e segnalare se seguire o meno i link presenti nella pagina stessa (follow / nofollow).
Attenzone! Le indicazioni che date agli spider con questo meta tag sono solo delle richieste e non è detto vengano ascoltate. Può accadere che anche in presenza della richiedsta di non indicizzare la pagina (noindex) lo spider la analizzi comunque.
Oltre a questo meta tag c'è anche un altro sistema per invitare lo spider a comportarsi in una determinata maniera quando visita il nostro sito web, stò parlando del file robots.txt ma lo tratteremo tra qualche lezione.

Molto importante per gli spider e la relativa indicizzazione dei siti (oltre a facilitare la navigazione degli utenti) è la mappa del sito. Si tratta di una pagina del sito linkata almeno dalla home page (ma più pagine la linkano e meglio è) che linka a sua volta tutte le pagine del sito indicando anche un breve riassunto dell'argomento trattato.