2004年10月10日

生logをチェックしよう

「生log」というのは、Webサイト(ホームページ)を開設しているホスティングサーバーに置かれるアクセスログデータ(訪問の記録ファイル)のことです。
通常、アクセスログデータの解析にはCGIが利用されており、何件訪問者があったか、どこから訪れたか(リンクなのかブックマークからなのか)、検索キーワードは何であったか、どのページを見たか、などを調べることができます。
この一般的なCGI解析では分らないことを「生log」から読み取ることができます。


一般的なCGI解析ではGooglebotやmsnbotと呼ばれるクローラーの訪問状況を把握することができません。SSIを活用した解析が必要になります。
このSSIの活用には制限があり(Execコマンドは使用不可なケースなど)自動化したSSI解析は利用できないこともあります。

そのようなケースでは、生logをチェックするのです。


当サイトには10月6日から「Googlebot-Image/1.0」が頻繁にアクセスしています。これはGoogle検索の「イメージ」で表示させるための取り込み(クロール)です。

普段のクローラーは「Googlebot/2.1」という足跡を残します。そして、AdSense(Googleの広告)からアクセスがあった場合には「Mediapartners-Google/2.1」がやってきて足跡を残します。
Googleにサイトのページがキャッシュおよびインデックスされる(つまりキーワード検索などにひろわれるように)ためには、「Googlebot/2.1」に訪れてもらい各ページを取り込んでもらわなければなりません。
しかしやっかいなのはこの「Googlebot/2.1」は必ず訪れるものでなく、また呼び込む絶対的な方法もありません。
確実性が高いのは人気のあるホームページにリンクしてもらうことです。人気サイトにはほぼ毎日「Googlebot/2.1」が訪れて更新ページを読み込んでいます。そこにリンクされていれば。リンクをたどって「Googlebot/2.1」が訪れてくれると言う図式です。
「それじゃあ、リンクしまくるとGoogle検索の上位表示になるのか」という疑問がわくのですが、好影響もあれば悪影響もあり、その辺のしくみ・仕掛けをアルゴリズムと言いますが(そのしくみに最適化させることをSEOと言います)、確実なことはGoogle関係者にしか分らないことです。

ちょっと。話が横道にそれました。本題の「生log」に戻します。
結局、「生log」を見て、Googlebotがきちんと訪問してくれているか、どのページを拾っていったか、などを毎日チェックしているということなのです。
そして自分なりにGooglebotの傾向をつかんで効果的なSEO(サーチエンジン最適化)を図れるようにしているということなのです。(これはお客様から依頼されるWebサイト制作にも大いに役立つことでもあるからです)

Webサイトを運営されている方は是非「生log」をご覧になってください。何か新しい発見があるかもしれません!

追伸:
「生log」見ていると不審な訪問者がいることを発見することもあります。Postmail-CGI(メール送信プリグラム)に頻繁にアクセスしてくる不審な海外サイトがあります。このサイトは上述のように通常のCGIによるアクセスログ解析では発見できません。生logを見るしかありません。
この不審サイトは有りがちなファイル名でアクセスしてくるので、そのファイル名が存在しなければ「404 not Found error」となりますが、一致するファイルが存在するとメールプログラムに侵入してスパムメールの発信源にしようとしているのかもしれません。
いずれにせよ、生logチェックによるセキュリティ対策の実例です。

投稿者 click : 2004年10月10日 13:49
コメント
コメントする









名前、アドレスを登録しますか?