雑談

9c93d312 :Anonymous 2011-05-30 18:02

>>4b7b1444
robots.txtに応答する機構が入ってないのは問題じゃないか？
あと、大学の研究室とかで私的にサーチエンジンを開発しても該当しなさそうだ。

だが、既に新月をターゲットに大学のサーチエンジンからクローラが来てる。
もしそれが本当なら彼らも捕まるはずだ。