2004年09月26日

Googlebot @ ウェブ

Googlebotがイベントのページを隈無くクロールしてます。既にトップページからリンクを切っているんだから、クロールしなくて良いと思うんですけどね。それよりも新しい日記の方をクロールして欲しいです。古い日記の方は徐々に消していくつもりなのでクロールしなくて良いんだけどなぁ。

Mozilla/5.0 (compatible; Googlebot/2.1; +>>関連リンク )

午前中から夕方になってもクロールが続いています。イベントのページをクロールするのは分かるんだけど、またしても日記のページをクロールしてます。何回も同じ所へアクセスしないで欲しいなぁ。アクセス制限を掛けた方がよいかな。何だか最近サイクルが短くなって頻度が上がっているんだよね。もともとの日記のページは1ヶ月単位になっていたので、複数のキーワードを組み合わせると全然関係の無い日の日記とでヒットしてしまうんですよね。スパム行為をしているつもりはないけど、似たような効果になっているのかも。(^_^;)

msnbotも来てます。UAとして登録してないので、403を返してます。Googlebotだけで十分なので許可する気持ちはありません。(笑)

閲覧数: 2458 / はてなブックマークusers

blog comments powered by Disqus

アマゾン広告

この日記ページは閲覧数などの条件に応じて、閲覧制限を行っています。他からリンクしていただいても、そのリンクから辿った閲覧者が当ページの内容をご覧頂けない場合があります。ご了承下さい。

▼日記検索

Mac

Shade

3D

Flash

ゲーム

ウェブ

音楽

映画

デジカメ

Windows

Linux

携帯電話

テレビ

広島

電子工作

iOS

▼ 最近のトラックバック

▼ランキング

▼関連サイト