Se vuoi proteggere le singole pagine aggiungi questo tag in ognuna di esse:

<meta name="robots" content="noindex, nofollow">

Se invece la pagine da proteggere sono molte, o intere cartelle, o vuoi bloccare l'accesso solo a determinati spider dei motori di ricerca, puoi usare il seguente tool:

URL:
Seleziona gli spider:	Tutti - Nessuno (in tal caso clicca Crea subito)
Eccetto (opzionale):
Eccetto (opzionale):
Impedisci agli spider di indicizzare i file contenuti in queste directory:
Directory :	(esempio: /cgi-bin/ )
Directory :	(esempio: /images/ )
Directory :	(esempio: /secret/ )