katz+

robots.txt置いてみる。

置き方は「robots.txt ファイルを使用してページをブロックまたは削除する – ウェブマスター ツール ヘルプ」を参考に。

User-agent: *
Disallow: /

User-agent: ConceptBaseHTTP
Allow: /

これでConceptBaseだけ許可して、他は不許可ってことになるのかな？
なってるっぽいからこの状態にしておこう。