先読みソフトについて

[1982]

はじめまして:o。

htaccessなどで、特定のuser_agentのアクセスを拒否することはできるのでしょうか。
というのも、GetHTMLW(Pockey/4.9.0)という先読みソフト(のくせにCATV) にリンクをどんどんたどられて、転送量やリクエスト数が急に増えてしまったので。
掲示板も全部読み込んでいるのでCGI負荷も心配です。

よろしくお願いします。

[iron]

.htaccessで、
-----------------------------------
SetEnvIf User-Agent "GetHTMLW" UA
Order Allow,Deny
Allow from all
Deny from env=UA
-----------------------------------
たぶん、これでいいんじゃないかと。

うまくいったら教えてくださいねん♪

[BlueBeat]

Originally posted by iron
.htaccessで、
-----------------------------------
SetEnvIf User-Agent "GetHTMLW" UA
Order Allow,Deny
Allow from all
Deny from env=UA
-----------------------------------

えと、GetHTMLW、私も使ってます（汗
で、自分のサイトを試しに読み込んでみたら恐ろしい事になりまして…。
CGIの負荷率Top50にランクインしてしまいました:(
で、私の所のGetHTMLWのUA名は、
"Pockey/4.10.2(Win32; GUI; ix86)"
になっています。
GetHTML系に共通するUA名として作者がPockey と明言して
いますので、このソフトのアクセスを禁止するのでしたら、これを指定した
ほうが良いと思います。私はこういう風にしてます。

.htaccess
----------------------
SetEnvIf User-Agent "Pockey" GETHTML
Order Allow,Deny
Allow from all
Deny from env=GETHTML
----------------------
最後の行に改行が入るとうまく行きません（当然ですが…このせいで
私は失敗してました。さっきやっとうまく行きました:o

ちなみにGetHTMLWは先読みソフトというより、オフラインブラウズ用
ローカルプロキシみたいな感じです。(私はFletsISDNになる前から愛用してます）

[1982]

ありがとうございました。うまくいきました。

SetEnvIf User-Agent "Pockey" Pockey
Order Allow,Deny
Allow from all
Deny from env=Pockey

としました。
まだ自分でGetHTMLWを使って試したわけではないのですが:p

はじめはCGIで制限しようかなと思ったのですが、.htaccessが使えるなら不要ですね。

ちなみにGetHTMLWは先読みソフトというより、オフラインブラウズ用
ローカルプロキシみたいな感じです。
なるほど。

[BlueBeat]

本題とあまり関係ないのでちっちゃく


私の場合、CGIへの読み込みだけ制限する為に、cgi-binのディレクトリを
作成して、その中にスクリプトと.htaccessファイルを入れています。
実際、HTMLからの呼び出しであまり画像を使用していないもので、
リクエスト数も大して大きくならないのです;)

HTMLからの画像リクエスト数が多くて困るのなら話は別ですが、CGI負荷を
防ぎたいだけというのであれば、cgiの入っているディレクトリだけにした方が、
良心的に見える…かもしれません:o

[1982]

すみません、心配してたのはむしろ画像のほうです。基本的に画像はほとんどないのですが写真のコーナーだけにはたくさん画像があって、先日は転送量がランクインすれすれでした:( 。

で、写真はpicフォルダにまとめてあるので、掲示板とpicの各フォルダにのみに.htaccess置けばよいですね。さっそくやってみます。

.htaccessの負荷はcgiみたいな数字には出ませんよね? 気をつけなければ。