自力でログを見て、アクセス元にフィルタをかける例(2019-04-22)
アクセスログを、perlと正規表現で読み込んでみようという例です
特定のIPアドレスからのアクセスを止める例†
うちのCentOS 7 環境で試した例ですが、
まずは、firewall-cmd で permanent に締め出す例。
（ただ、これはオススメできません。
送信元IPが可変であることを踏まえても、なお、
しつこいアクセスを止めたい場合に...）
※事前に /home/hoge/ban_list.txt ファイルに、対象IPを列挙して下さい 初回は ipsetを新しく作ります # firewall-cmd --permanent --new-ipset=my_ban --type=hash:ip # firewall-cmd --reload my_banに対して、 drop するIPアドレス一覧を登録します # firewall-cmd --add-rich-rule='rule source ipset=my_ban drop' --permanent # firewall-cmd --ipset=my_ban --add-entries-from-file=/home/hoge/ban_list.txt --permanent # firewall-cmd --ipset=my_ban --get-entries # firewall-cmd --reload
これを削除するときは、上記add-entries を remove-entries に変えて実行します。
（firewall-cmd って、ちょうど add と remove が対になるイメージですね）
ここで使った ban_list.txtは無くさないようにするか、または get-entries してリストを作り直して、
remove してからリストを更新して add する、といった運用になると思います。
もう一案、既に fail2ban を使っているなら、そこに追加するという手もあります。
もし、 fail2ban-postfix が有効で、そこにIPを追加する場合 # fail2ban-client set fail2ban-postfix banip 対象のアドレス なので、前述のリストをshellで全部渡すなら、こう？ for ip in `cat /home/hoge/ban_list.txt`; do fail2ban-client set fail2ban-postfix banip $ip done
この場合は、そのルール（上記だとfail2ban-postfix）で設定した bantimeを経過すると解除されるのと、
systemctl reload fail2ban などでログを読み直すと、上記手動設定分は消えるので注意しましょう。
対象とするポートやbanする期間といったfail2ban側の設定を流用できるのが利点です。
...これは個人的な感想ですが、
メールの不正アクセスは一日に一回〜数回で、毎日来たりするので、
bantimeは「何時間(3600秒 * 時間)」ではなく「何日(3600*24*日数)」で設定してもいいと思います。
（もちろん、どんなキーワードでbanして、どう運用管理するかによりますが...）
あとは、私の環境の場合は squidを使っているので、そこでIPアドレス一覧を読み込んで、
まぁ、その、色々と振り分けています
以下、では、
上記「IPアドレスのリスト」をどう作るのかの話になります
ログからアクセス元IPを絞り込む†
はじめに†
結局、市販のログ収集・監視ツールでもフリーのやつでも、
どのログを集めて、何を基準で制限や通知をするかは
自分で設定することになります。
というのも、これは、製品の親切度？の問題と言うよりも、
対象になるログは無限にあって、
目的やバージョンで、収集対象も異なっちゃうので、
（何も設定せずに）すぐ使えるツールって、なかなか無いんじゃないかな〜
と、思うのです...
（自動でやってくれるツールでも、誤検知を防ぐために導入後の「学習」が必要ですし）
ツールは、がんばって設定するとして、
それ以前に、
もっと１から自力でログ確認をやりたい酔狂な方むけというか、*1
やらざるをえないんだけど、何をどうすれば良いのやら見当もつかない方へ、
以下、たたき台になればと思い、
postfix（やhttpd など）のアクセスログから、IPアドレスを抜き出す例について、
メモしてみます。
ログからIPアドレスを拾っていく例†
では、 perl のスクリプトの例です。read_log.pl として、
これにログを渡すと、こんな感じでIPアドレスの一覧が出ます。
$ ./read_log.pl /var/log/maillog 37.49.xxx.xxx 1420 4 190421 185.100.xx.xxx 640 4 190421 107.170.xxx.xx 310 4 190421
出力は、IPアドレス(37.49.x.x)、得点(1420点)、フラグ(4)、日付(4/21)、です。
こんな感じの、IPアドレスのリストを出力させます。
一行目の perl のPATHは、 which perl とかで確認して、変えて下さい。
#!/usr/bin/perl -w
#
# ログ監視/集計ツールの簡易版みたいなことをやります
# 想定している厄介ログから、IPと頻度を集計します
#
# そのまま > なり tee なりでファイルに落として別ツールで使う想定
# ファイルに落とさない情報は、STDERRに出力します
#
sub dbg_printf{
# デバッグ文、作成過程では入れまくってます。
#return; # ここをコメントアウト
#printf STDERR "dbg:";
printf STDERR @_ ;
$|=1;
}
# 月表示を数字二桁にもどすやつ
my %m2d = ('Jan'=>'01', 'Feb'=>'02', 'Mar'=>'03', 'Apr'=>'04', 'May'=>'05', 'Jun'=>'06',
'Jul'=>'07', 'Aug'=>'08', 'Sep'=>'09', 'Oct'=>'10', 'Nov'=>'11', 'Dec'=>'12');
sub M2D {
my $month = shift;
return $m2d{$month};
}
# IPアドレス毎に以下の３つを集計してみます
my %ip_last_access; # 最終検出日 yymmdd (ただしyyの部分は固定値。ログに無い場合があるので)
my %ip_score; # 点数。厄介に応じて加点
my %ip_flag; # フラグ。ログやアクセスの種類の記録
sub setIP {
# 上記のIPアドレスと３つの集計を、各ログから書き込むための関数
my ($ip, $time_mmdd, $score, $flag) = @_;
$time = "19" . $time_mmdd; # TODO: ログに西暦が無い場合もあるので、ひとまず固定値。
if(! defined($ip_last_access{$ip}) or $time > $ip_last_access{$ip}){
$ip_last_access{$ip} = $time;
}
$ip_score{$ip} = (defined $ip_score{$ip} ? ($ip_score{$ip} + $score) : $score);
if($ip_score{$ip} > 99999){
$ip_score{$ip} = 99999; # 一定数以上は集計しない
}
$ip_flag{$ip} = (defined $ip_flag{$ip} ? $ip_flag{$ip} | $flag : $flag);
}
#--- 自分で任意の基準を作りましょう（ここから）--------------------
my %FLAGS; # ログやアクセス種別やら情報
# 2の倍数でフラグを立てて、(LOGIN | MAIL) の両方で検出みたいに記録する
$FLAGS{"LOGIN"} = 2;
$FLAGS{"MAIL"} = $FLAGS{"LOGIN"} * 2;
$FLAGS{"WEB"} = $FLAGS{"MAIL"} * 2;
my %LV; # 加点。まぁ、てきとうに。
$LV{"WARN"} = 100; # 警告
$LV{"ERROR"}= 500; # エラー
$LV{"CRIT"} = 10000; # 致命的
#--- 自分で任意の基準を作りましょう（ここまで）--------------------
#--- log_～の関数をひたすら増やしていく（ここから）----------------
sub log_mail01{
# 他にもいっぱいありますが、一例としてこんなログ...
#
# postfix/smtpd[xx]: NOQUEUE: reject: RCPT from unknown[AA.BB.CC.DD]: 554 5.7.1 <xx@xx.xx>: Relay access denied; from=xx
# おそらく第三者中継狙いじゃないかな
#
if(/^(\S+)\s+(\d+) .+ postfix\/(smtpd|smtps\/smtpd)\[\d+\]: NOQUEUE: reject: RCPT from.+\[([\d\.]+)\]: .*Relay access denied;/){
my $mmdd = sprintf("%s%02d", M2D($1), $2);
setIP($4, $mmdd, $LV{"ERROR"}, $FLAGS{"MAIL"});
return 1; # ヒットした場合は 1以上を返す
}
# Mar 17 04:55:50 xx postfix/smtps/smtpd[xx]: connect from unknown[AA.BB.CC.DD]: xx
# unknown で何度も接続されることはありえない、という場合に
#
if(/^(\S+)\s+(\d+) .+ (connect|disconnect) from unknown\[([\d\.]+)/){
my $mmdd = sprintf("%s%02d", M2D($1), $2);
setIP($4, $mmdd, 5, $FLAGS{"MAIL"});
return 1; # ヒットした場合は 1以上を返す
}
#
# 上記と同様の手順で、「正常な」アクセスも if 文で拾って、
# その場合は何もカウントせずに return 1; する
#
}
#--- log_～の関数をひたすら増やしていく（ここまで）----------------
#--------------------
# ここからメイン処理
#--------------------
if(! defined $ARGV[0]){
# /var/log/maillog* のように、ログファイルを渡して起動する
printf(STDERR "no log files\n");
exit;
}
my @old_logs=();
my $is_next_oldlog=0;;
#--- 指定したファイルを読み込む
# 次に他のファイル＆フィルタ、と繰り返していく
foreach my $logfile (@ARGV){
if($logfile eq "-o"){
# "-o 古いログ" で前回の結果を渡された場合、今回分とマージする
$is_next_oldlog++;
next;
}
if($is_next_oldlog > 0){
push(@old_logs, $logfile);
$is_next_oldlog=0;
next;
}
open($list, "< $logfile") or die "$! [$logfile]\n";
while(<$list>){
$hit=0;
if($logfile =~ /maillog/){ # ログファイル名に合わせてフィルタをかける
$hit += log_mail01 $_;
#$hit += log_mail02 $_; # どんどん追加
}
#if($logfile =~ /access.log/){ # ログファイル名に合わせてフィルタをかける
# $hit += log_web01 $_;
#}
if($hit<=0){
# 想定外のログがあった場合は、必要に応じてフィルタを追加する
printf(STDERR "%s\n", $_);
}
}
}
my %old_last_access; # 過去の最終検出日
my %old_score; # 過去の点数
my %old_flag; # フラグ
foreach my $old_logfile (@old_logs){
if(defined($old_logfile)){ # 過去の統計とマージ
open($old_file, "< $old_logfile") or die "$! [$old_file]\n";
while(<$old_file>){
if(/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)/){
my ($o_ip, $o_score, $o_flag, $o_access) = ($1, $2, $3, $4);
#printf("%16s, %6s, %3s, %s\n", $o_ip, $o_score, $o_flag, $o_access);
# 過去分と今回分をマージする
# 運用方法に合わせて更新するのだけど、今回の例としては
# 最高点、最終アクセス日で更新、フラグはマージする
if( defined($ip_score{$o_ip})){
if($ip_score{$o_ip} < $o_score){
$ip_score{$o_ip} = $o_score;
}
if($ip_last_access{$o_ip} < $o_access){
$ip_last_access{$o_ip} = $o_access;
}
$ip_flag{$o_ip} = (0+$ip_flag{$o_ip}) | (0+$o_flag); # 0+は強制的に文字から数字に戻す意図です
}else{
# 古い方にしかない場合は、そのまま今回分に追加
$ip_score{$o_ip} = $o_score;
$ip_last_access{$o_ip} = $o_access;
$ip_flag{$o_ip} = $o_flag;
}
}else{
printf("ERR: %s\n", $_);
}
}
}
}
# 結果の出力。以下ではタブ区切り(\t)だけど、
# あとで加工しやすい書式で出す。これを tee や > で、ファイルへ残す
while ( ( $ip, $score ) = each ( %ip_score ) ) {
printf("%s\t%d\t%d\t%s\n", $ip, $score, $ip_flag{$ip}, $ip_last_access{$ip});
}
長くなってしまいましたが、肝心なところは、
- 「open($list, "< $logfile")」でログを開いて、
- 「while(<$list>)」で一行ずつ読み取って、
- （途中 log_mail01 で関数化しましたが）
- 「if(/^(\S+)\s+(\d+) .+ (connect|disconnect) from unknown\[([\d\.]+)/)」のように
if文から時刻($1と$2）とIPアドレス($4)を読み取る
という作業です。
色々付け足すうちに、おおきくなっちゃった感じです。
もう１つのキモは、
log_mail01 で return 1 して $hit に渡していますが、
これによって、まだ if文を作って「いない」ログが登場した場合に、その行を出力します。
すべてのログを仕分けする if文を作っていく（新しく想定外のログが出たら、また作る）
というのがこのツールの目的です。
この例の「log_mail01」をひたすら作り込んで、
何度も実行して、ログに合うif文と正規表現をひたすら追加していくという、
長い、長い戦いが始まると思います...
（...時間のある時に、気長にやってみて下さい
一度作ってしまえば、あとは実行するだけになりますし）
ある程度書けてきたら、
これを > list.txt みたいにリダイレクションします。
./read_log.pl /var/log/maillog > list.txt
想定外の（if文で拾えていない）ログはSTDERRに出るので、
最終的に全てのログを if 文で拾えるようにがんばりましょう。
IPアドレスの偏りっぷりを確認してみる例†
上記スクリプトで作ったログを、サブネットで集約を目指します。
せっかくだから国も確認してみます。
正直、IPアドレス集約が実用的にどこまで効果が有るのかはさておき...
「これ、いつも同じ場所からきているんじゃないか？」
という疑問を解消するのには役立つと思います。
国ごとのIPアドレス割り振り情報として、事前にRIR一覧をwgetなりで取得して、
このスクリプトと同じ場所の list/ ディレクトリに置いておいて下さい。
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest ftp://ftp.ripe.net/pub/stats/ripencc/delegated-ripencc-extended-latest ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-latest ftp://ftp.lacnic.net/pub/stats/lacnic/delegated-lacnic-extended-latest ftp://ftp.afrinic.net/pub/stats/afrinic/delegated-afrinic-extended-latest
以下がIPを集約してみようの例です。
#!/usr/bin/perl -w
# read_log.pl で作った以下のログ情報
# printf("%s\t%s\t%s\t%s\n", $ip, $score, $ip_flag{$ip}, $ip_last_access{$ip});
#
# これに国情報の付与と、サブネット集約を試みます
# 出力はそのまま > などでファイルにリダイレクトする想定
# 集計情報以外は STDERR に分けて出力しています（これもファイル出力なら 2>&1 する）
#
my $SUBNET_INFO=8; # 情報として表示するネットマスク集約最小値
my $SUBNET_BAN=28; # これより大きいネットマスクで集約する
sub dbg_printf{
# デバッグ文、作成過程では入れまくってます。
#return; # ここをコメントアウト
#printf STDERR "dbg:";
printf STDERR @_ ;
$|=1;
}
sub number2ip {
# 数値変換したIPアドレスを文字列へ戻す
my $b = shift;
my $ip = sprintf("%d.%d.%d.%d",
unpack("C", pack("B8", substr($b, 0, 8))),
unpack("C", pack("B8", substr($b, 8,16))),
unpack("C", pack("B8", substr($b,16,24))),
unpack("C", pack("B8", substr($b,24,32)))
);
return $ip;
}
#--------------------
# ここからメイン処理
#--------------------
if(! defined($ARGV[0])){
printf("no args\n");
exit;
}
# まず、サブネット 国名 一覧を読み込む
use File::Basename;
my $base_dir = dirname(__FILE__) . "/list/";
@rir_lists = (
$base_dir . "delegated-afrinic-extended-latest",
$base_dir . "delegated-apnic-extended-latest",
$base_dir . "delegated-arin-extended-latest",
$base_dir . "delegated-lacnic-extended-latest",
$base_dir . "delegated-ripencc-extended-latest"
);
foreach my $r_list (@rir_lists){
open($list, "< $r_list") or die "$! [r_list]\n";
while(<$list>){
# 上記の、こんな感じのファイルを読みたい
# apnic|JP|ipv4|1.0.16.0|4096|20110412|allocated|A92D9378
if(/^[^\|]+\|(\w+)\|ipv4\|([\d\.]+)\|(\d+)\|/){
$ip=$2; $num=$3; $cnt=$1;
if($ip =~ /(\d+)\.(\d+)\.(\d+)\.(\d+)/){
$bin=$1*256*256*256
+$2*256*256
+$3*256
+$4; # IP表記から数値に戻す
$ip_range{$bin} = $num;
$ip_cntry{$bin} = $cnt;
}
}
}
}
my %ip_n;
my %ip_text;
my %score;
my %flag;
my %access;
my %country; # 国判定を行わない場合は、この変数に関する処理を削ります
dbg_printf("make country table\n");
open($old_file, "< $ARGV[0]") or die "$! [$old_file]\n";
while(<$old_file>){
if(/^(\S+)\s+(\S+)\s+(\S+)\s+(\S+)/){
my ($o_ip, $o_score, $o_flag, $o_access) = ($1, $2, $3, $4);
my $o_bin;
if($o_ip =~ /(\d+)\.(\d+)\.(\d+)\.(\d+)/){
$o_bin=$1*256*256*256
+$2*256*256
+$3*256
+$4; # IP表記から数値に戻す
}
my $where = "??";
foreach my $start (keys(%ip_range)){
if($start <= $o_bin && $o_bin <= ($start + $ip_range{$start})){
$where = $ip_cntry{$start};
last;
}
}
$bin32 = sprintf("%032b", $o_bin); # 二進数表記へ
$ip_n{$bin32} = $o_bin;
$ip_text{$bin32} = $o_ip;
$score{$bin32} = $o_score;
$flag{$bin32} = $o_flag;
$access{$bin32} = $o_access;
$country{$bin32} = $where;
}else{
printf(STDERR "ERR: %s\n", $_);
}
}
dbg_printf("sort and dump netmask\n");
my %subnet_mask;
my %subnet_32bit;
my %subnet_range;
my %subnet_score;
my %subnet_flag;
my %subnet_access;
my $last_ip = sprintf("%032b", -1);
for my $ip (sort keys %score) {
my ($pre, $suf, $mask) = ("", $ip, "");
my $i;
for($i=$SUBNET_INFO; $i<=32; $i++){ #---- ここでサブネット集約する範囲を指定
#--- ソート済みの状態から、
#--- 一つ前のIPアドレスと二進数で文字列比較する
if(substr($last_ip, 0, $i) eq substr($ip, 0, $i)){ #---- 一致するなら、集約
$pre = substr($ip, 0, $i); #--- 一致部分
$suf = substr($ip, $i, 32); #--- 不一致部分
$mask = "0" x (32 - $i); #--- 不一致部分をゼロでパディング
}
else {
last;
}
}
my $subnet;
if(length($pre) > 0){
$subnet = number2ip($pre . $mask) . "/" . $i;
}else{
$subnet = number2ip($suf);
}
if(length($pre) >= $SUBNET_BAN){
# 赤で表示（\e[31m）サブネットを添えて
dbg_printf("\e[31m%s\e[0m%s %19s %s\t%s\t%s\t%s\n", $pre, $suf, $subnet, $country{$ip}, $score{$ip}, $flag{$ip}, $access{$ip});
}else{
# 緑で表示（\e[32m）IPアドレスを添えて
dbg_printf("\e[32m%s\e[0m%s %19s %s\t%s\t%s\t%s\n", $pre, $suf, $ip_text{$ip}, $country{$ip}, $score{$ip}, $flag{$ip}, $access{$ip});
}
if(length($pre) > $SUBNET_BAN){
if($subnet =~ /^(\d+)\.(\d+)\.(\d+)\.(\d+)\/.+/){
my $sub_n=$1*256*256*256
+$2*256*256
+$3*256
+$4; # サブネットを数値にして、ハッシュのキーとして使用
$subnet_mask{$sub_n} = $subnet;
$subnet_32bit{$sub_n} = $pre . $suf;
$subnet_range{$sub_n} = length($pre);
$subnet_flag{$sub_n} = (defined $subnet_flag{$sub_n} ? $subnet_flag{$sub_n} | $flag{$ip} : $flag{$ip});
if(! defined $subnet_score{$sub_n} || $subnet_score{$sub_n} < $score{$ip}){
# 集約する場合は大きい方のスコアで更新。...あるいは合算でも、お好みで。
$subnet_score{$sub_n} = $score{$ip};
}
if(! defined $subnet_access{$sub_n} || $subnet_access{$sub_n} < $access{$ip}){
# 最終アクセス日に更新
$subnet_access{$sub_n} = $access{$ip};
}
}
}
$last_ip = $ip;
}
# まず、サブネット同士で集約する
my %s_mask;
my %s_32bit;
my %s_range;
my %s_score;
my %s_flag;
my %s_access;
foreach my $sa (keys %subnet_mask){
my $hit=0;
foreach my $sb (keys %subnet_mask){
if($sa == $sb){
next; # 自分自身と比較はしない
}
my $len=$subnet_range{$sb};
if($subnet_range{$sa} <= $len){
next; # 自分の方が短い場合、比較はしない
}
if(substr($subnet_32bit{$sa}, 0, $len) eq substr($subnet_32bit{$sb}, 0, $len)){
dbg_printf("# %s -> %s\n", $subnet_mask{$sa}, $subnet_mask{$sb}); # ここはあとで削除。確認用。
$hit++; # 他のサブネットで集約される
last;
}
}
if($hit==0){
$s_mask{$sa} = $subnet_mask{$sa};
$s_32bit{$sa} = $subnet_32bit{$sa};
$s_range{$sa} = $subnet_range{$sa};
$s_score{$sa} = $subnet_score{$sa};
$s_flag{$sa} = $subnet_flag{$sa};
$s_access{$sa} = $subnet_access{$sa};
}
}
my %s_include; # 集約範囲がいくつの（不正な?）IPアドレスを含むかカウントする
for my $ip (sort keys %ip_n) { # ここはsortで無くても可。処理速度に応じて。
my $hit=0;
foreach my $mask (keys %s_mask){
my $len=$s_range{$mask};
if(substr($ip, 0, $len) eq substr($s_32bit{$mask}, 0, $len)){
dbg_printf("# %s -> %s\n", $ip_text{$ip}, $s_mask{$mask}); # ここはあとで削除。確認用。
$s_include{$mask} = (defined($s_include{$mask}) ? $s_include{$mask} +1 : 1);
$hit++;
last;
}
}
if($hit>0){ # 既に集約済みならば、出力せずにスキップ
next;
}
printf("%s\t%s\t%s\t%s\n", $ip_text{$ip}, $score{$ip}, $flag{$ip}, $access{$ip});
}
for my $n (sort keys %s_mask) { # ここはsortで無くても可。処理速度に応じて。
printf("%s\t%s\t%s\t%s\t(%d)\n", $s_mask{$n}, $s_score{$n}, $s_flag{$n}, $s_access{$n}, $s_include{$n});
}
なんだか、長くなっちゃいましたね...
このスクリプトに、前述の read_log.pl で作ったリストを引数として与えると、
以下のようなイメージで出力されます。
（イメージです。実際は赤と緑で表示されます） make country table sort and dump netmask 01000111000001101110100000000100 xx.x.232.4 US 640 12 190320 01000111000001101110100000000101 xx.x.232.4/32 US 630 4 190418 01000111000001101110100000000111 xx.x.232.4/31 US 4 8 190402 （中略） 37.49.227.xxx/32 2130 4 190418 (2) 37.49.230.xxx/30 710 4 190312 (2)
前半で、集約が発生した場合に（赤か緑で）色をつけながらエラー出力（STDERR）へ表示して、
最終的にそのIPアドレス一覧を標準出力（STDOUT）へ表示します。
STDERRとSTDOUTへ分けたのは、 > ban_list.txt 2> info_list.txt みたいにリダイレクション先を分けるためです。
上記スクリプトはsortでかなりの時間がかかるので、
実際に運用する場合は上記の read_log.plと合わせて cronで動くように仕込むと楽だと思います。
IP集約するにせよ、しないにせよ、
ここで取得したIPアドレスは、例えばそのままつかうなら、
awk '{print $1;}' ログファイル名 > /home/hoge/ban_list.txt
のように、一番左のIP列だけ抜き出してもいいですし、
日付と得点で、fairewall-cmd 等に渡すか否かを決めてもいいと思います。
検出したIPアドレスをどうするかはさておき、
まずは一ヶ月〜数カ月分の情報を見てみると、何か発見があるかもしれません。
というか、私も目下、観察中といった感じです。
スパムリファラーのIPアドレスを抜き出す例
長くなってしまいますが、さらにもう少し...
前述のように、アクセスログからIPアドレスを抜き出せれば、あとはどうとでも応用はできます。
Webサイトをブラウザで見る時って、複数のファイルをダウンロードすることになると思います。
例えば、うちのサイト、PukiWiki使っていますが、
index.html --+--- skin/pukiwiki.css.php (モバイルだと keitai.css.php)
| -> link rel=stylesheet で読み込んでいる部分
+--- image/rss.png
| -> サイトのフッターに、img src で表示している画像
+--- ...
大抵のWebサイトなら、各ページで共通するCSSや画像を読み込む作りになっていると思いますが
（Webサイトをブラウザで右クリックして「ソースを表示」して、linkタグとか探せば分かるかも）
これがbot や スパムリファラーだと、CSS やら画像ファイルやらはダウンロードせずに、
連続で index.htmlや特定の htmlファイルだけへアクセスしてくるはずです。
具体的には index.html だけに同じリファラーで３回連続でアクセスしてくるのが
リファラースパムの作法？の１つみたいですね、Webのアクセスログを見ると。
なので、
- htmlやcgiへのアクセスで-1 ($hash{"IPアドレス"} の値を -1 する)
- それと対になるスタイルシート等へのアクセスで+1 ($hash{"IPアドレス"} の値を +1する)
みたいに、IPアドレス毎にカウントアップ or ダウンすれば、
スパムリファラーを撒く目的のIPアドレスなんかは -3 くらいになると思います。
あと、Googlebotとかの正規の？クローラーもマイナスの値ですね。
拾ったIPアドレスは「dig -x IPアドレス」とかで逆引きしてみると多少の情報がつかめます。
そのIPアドレスの一覧を作っておけば、
ログを見る時に grep -vf で除外したり、squid で別のダミーサイトへ誘導したり、
いろいろと応用できると思います。
もちろん１つのアクセスログではなく、複数日のログから判断すれば精度も増すと思います。
例として、最新２ファイルを拾いたい場合。-1 は数字の１です。Lではなく。 $ cat `ls -1r /var/log/httpd/access_log* | tail -2`
...まぁ、いたちごっこ、ではありますが。
スパム側も、そうbotでアクセスすれば良いだけなので。
ただ、
bot側は世界中のWebサイトを効率良く回らないといけないので、
攻撃に使うパターンはある程度決まっているようで、
それを止めるか避けるかするだけでも、煩わしいアクセスをだいぶ減らせます。
）