head の中に meta というタグで次のように書いておけばよい.上段がインデックス付けをしない,リンクを辿っていかないという意味で,下段が検索ページのキャッシュに保存しないという意味.
<head> <meta name="robots" content="noindex,nofollow"> <meta name="robots" content="noarchive"> </head>
robots.txtというファイルに以下のようなことを書いてサイトに置いておけば良い
ロボットが検索用にページを集めているときは robots.txt ファイルをチェックする
ここに拒否とか書いておけばよいわけだ
# robots.txt for http://homepage3.nifty.com/~nakamura/ User-agent: Googlebot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /profile/ Disallow: /download/hidden.html
最初の User-agent: Googlebot のところは,www.google.co.jp での検索についての設定
Disallow: / というのは,robots.txtを置いたディレクトリ以下全部を検索対象から外すということ
全部を対象としない場合は,対象を細かく分けてディレクトリ単位・ファイル単位で書く