ページを選択

ストブロ

Coffee's Blog.

第12回「迷惑メール対策 後編」

執筆者 | 2014年04月20日 | さくらのレンタルサーバー, ストブロ, レンタルサーバーforビギナーズ

※第16回「maildrop、mailfilterによるメール振り分け 完成版」で、もう一度詳しく説明しています。そちらもご覧下さい。

.mailfilter(maildrop)の日本語マッチング用辞書は「文字コード」に問題がありました。

研究内容:
マッチング用辞書ファイルに何かの文字列を入れると、エラーで受信が行われなくなりました。
削除すると元に戻りますが、対象となる文字が意外と多くて原因が特定出来ない状態に。
とにかく文字が何か悪さをしているのだと思い、文字を()で囲ってみたり、””で囲ってみたりするも効果無し。

「文字のエンコード」を原因の主なキーワードと仮定し、様々調べる・・・も有力な情報なし。

その中で偶然「ダメ文字」という言葉を発見しました。
これはShift-jis等の2バイト目の文字がプログラム上の特定の意味を持つ記号になっている場合に発生する問題だと分かりました。
例えば「ソフト」の「ソ」は2バイト目が「0x5c」となりこれは「\(実際には半角ですが)」となるんだそうです。

難しい事は置いといて、この様な問題から何気なく登録した日本語が多くのダメ文字を含んで居たためその都度問題を引き起こしていたという事になります。

解決するにはどうするの?:
どういう訳かは分かりませんが、私がmailfilterの研究をしようと様々な情報を見に行っても、殆どの場合「ファイルの文字エンコードをShift-JISにするべし!」と書かれていました。
ちなみにさくらインターネットのレンタルサーバーの場合、サーバーの文字コードはEUC-JPだそうです。メールは様々な形式で来るし、私はPHPやHTML等をUTF8で書いています。

じゃあ、なんでシフトJISの必要性があるんでしょうか?
むー、全く分かりません。
どの情報を見ても、こういう理由でシフトJISが推奨されますという記述はないのです。

ダメ文字の言葉を知ってから、ダメ文字について検索すると「UTF8ではこれらの問題はありません」というのをよく見掛けます。
HTMLでもUTF8だし・・・問題無いかな?と思い、辞書ファイルをUTF8に変更しました。

結果は   ダメ!w

焦らず騒がず.mailfilterファイルもUTF8に! これでばっちり動きました。

数多くあるmailfilter関連の記事の中で唯一utf8に関する紹介があった記事はこちら
スタジオ・ドリ様 「さくらインターネット「ライトコース」で、自動応答メール機能」

これまでの文字エンコード:shift-jis
新たに変更したエンコード:utf-8

.mailfilter 判定の命令文が書いてあるファイル utf8に変更
.bkword   英語の判定語を記載したファイル shift-jisのまま変更せず
.bkwordjp  日本語の判定語を記載したファイル utf8に変更
その他、ブロックリスト(メールアドレスブロック)なども変更の必要はありませんでした。

単語登録の度に動作不良に悩まされていたのがだいぶ軽減できました!
たまに、動作が上手く行かない場合があるので、まだ何か問題がありそうですが、十分実用レベルだと思います。

.mailfilterと.bkwordjpをutf8に変更する手順

手順1)WinSCPで2つのファイルをローカルにダウンロード
手順2)Terapad等のエディターで開き、「文字コードを指定して保存」でutf8(又はutf8n BOM無し、改行コードLFのみ)を指定して保存
terapad01
terapad02terapad03

手順3)nkfのエンコード出力形式をutf8に変更


if ( /^From:\s*(.*)/ && lookup( $MATCH1, ".blockaddr" ) )
{
to "maildir/.Trash/"
}
if ( ! ( /^From:\s*(.*)/ && lookup( $MATCH1, ".whitelist" ) ) )
{
xfilter "/usr/local/bin/spamc"
}
if ( /^To:\s*(.*)undisclosed-recipients(.*)/ )
{
to "maildir/.Trash/"
}
if ( /^Subject:\s*(.*)/ && lookup( $MATCH1, ".bkword" ) )
{
to "maildir/.Trash/"
}
SUBJECT=`cat | grep Subject | nkf -w`
if ( lookup( $SUBJECT, ".bkwordjp" ) )
{
to "maildir/.Trash/"
}

「nkf -w」の所です。

手順4)WinSCPで2つのファイルをアップロード
    作業の都合上拡張しやファイル名を変更した場合は元に戻して下さい。
手順5)WinSCPのエディタでファイルを開き、正しくアップロードされているか確認する。
該当のファイルをWinSCP上でダブルクリックするとエディタが開きます。
最初はこんな感じで文字化けの状態です。
Editer02
「Encoring」のメニューからUTF8を選択すると・・・
Editer03
じゃじゃーん♪
表示されれば作業はOKです。
手順6)送受信チェック
    自分のアドレスから自分のアドレスに宛ててメールを送信し、送受信に問題がないかチェックして下さい。

判定語ファイル内で利用出来る「正規表現」について
判定語には正規表現の一部が使用できます。

全てを確認している訳ではありませんが、私が確認した範囲内でご説明します。

abc.efg
「.」は何かの1文字という指定です。空白を含む何か1文字があると判断されます。
abcdefg 該当
abc efg 該当
abc1efg 該当
abc22efg 該当せず
abcefg  該当せず

abc.*efg
「*」は直前の文字の「0回以上の」繰り返しという指定です。私の場合「.*」の様に使用する事が多いです。
-2014/05/02:訂正しました。
abcdefg 該当
abcdddefg 該当
abcefg  該当(任意の一時「.」の0回以上の繰り返し「*」なので、該当)
ab00fg  該当せず

(abc|123)-podcast
「|」は「~か~か」という条件を複数設定する機能です。似たような文章でキーワードを複数持たせたい場合に便利です。
abc-podcast 該当
123-podcast 該当
aoi-podcast 該当せず

#競馬当選関係迷惑メールキーワード
「#」はコメントアウトに使用します。検索語として機能しないメモ表記や一時的に特定のワードを解除したい場合に使います。
abc-pod 該当
123-pod 該当
#aoi-pod 該当せず

注意点1)エスケープ文字を検索語に登録する場合
だ.い|し.ゅ|う.ご|う!
この様にエスケープ文字をキーワードに含めたい場合は「¥」を文字の前に付記する事でエスケープ(単純にして文字として取り扱う)事が可能です。検索辞書内で忘れずにエスケープして下さい。
だ\.い\|し\.ゅ\|う\.ご\|う!

注意点2)パイプ「|」の重ね設定について
検索語辞書ファイル内ではこれ位の正規表現で十分だと思います。
「何となくのクセ」という曖昧な情報共有になりますが、以下の様に「|」での条件をいっぱい重ねるのは苦手な感じがします。

(abc|123|aoi).*(def|456).*(8888|9999|0000).*無料

最初は単独でキーワードを設定して、その後「|」を使ってまとめる時にはエラーが出ないかチェックしながら行う、というのが良さそうです。

コメントアウトも出来るし、カテゴリ毎にキーワードをまとめて行くとだいぶ修正しやすいものになります。
スパムメール対策だけではなく、「利用明細はこのフォルダ」とか利用価値は様々あると思いますので、活用してみて下さい。

使用する場合には自己責任でお願いします。
くれぐれも、受信メールがスタックした状態で放置しないようにして下さいね(^^ゞ

みなさんのテクニックなど有れば是非教えて下さい。

-------------------------------------
迷惑メール対策、ゾーン編集(SPFレコード、TXTレコード)についての追加情報
Gmail等で迷惑メールとして判定される不具合からSPFレコードについて調べ、自分のサーバーでも設定しました。
この情報をレンタルサーバーforビギナーズで公開してから、以外と反響が大きくてビックリしました。
皆さんも同じ悩みをお持ちだったんですね(^^ゞ

業務でしようしているサーバーでもSPFレコード、IPv6への対応になり、早速SPFレコードを編集しようとしたましたが問題がありましたのでご報告します。

.co.jp等の地域型、属性型ドメインではゾーン編集(TXTレコード等の編集の事)が出来ない場合があります。
サーバー運営会社等によるのかも知れませんが、少なくてもさくらインターネットではさくらインターネットで取得したか、他社で取得し管理をさくらインターネットに移管したかに依らず、co.jpドメインのゾーン編集は出来ないそうです。
サポートにメールを送ったり、マニュアルを確認したりしていましたが、きちんと回答がありました。
出来ません(>_< ) ドメインの管理画面にco.jpは表示すらされません。 domain01
それでも、コントロールメニュー内のドメイン設定にはco.jpも表示されます。
domain02
そもそも個人利用でco.jpはあり得ないので、この問題に直面している方は企業でサーバー管理などをされている方だと思いますが、
co.jpドメインではコントロールメニューから選べる「SPFレコードを使用する、IPv6を利用する」のチェックボックスだけが操作可能です。

co.jpドメインの場合それでも問題なさそうですが、どうしても問題なら.jpや.com等の別ドメインを検討するしかなさそうです、今のところ。

じゃあ、さくらインターネット以外ではどうか?と思って調べてみましたが、表面上の情報ではなかなかヒットせず、今ひとつ分かりませんでした。
情報お持ちの方いらっしゃいましたら教えて頂けると幸いです。

センダーベース.org (IPのスパマー評価をするシスコシステム運営のウェブサイト
senderbase.org

カラダマジック

おはようございます、今週は火曜日から週の始まりという方も多いのでは? 月曜休みでも土曜日出勤だからなんとなくチャラな感じの 桂 コヒ蔵です(^o^)丿~♪ 今朝も起きました。 当然ですw 朝起きが苦手な私は、目覚まし時計をいっぱいセットします。...

良い物はやっぱり高いのかな(^^ゞ

毎度馬鹿馬鹿しいブログにお付き合い頂いております。 ストブロのコヒ蔵です(^o^)丿~♪ 仕事でアドベ製品をちょいちょい使うのですが、 半年前までは触ったことがない製品を買ってはせっせと勉強しております。...

カジョゥハ・ンーノウです。

はじめまして、おはようございます。 最近人気の香港出身映画監督、カジョゥハ・ンーノウです。 うそ、コヒ蔵です♪ おなかの調子がよくないここ数日ですが、 私の過剰反応っぷりが自分で面白いので、皆さんにもその滑稽な姿をお伝えしたいと思っています。...

シドロー・モドローンです。

はじめまして、おはようございます。 ハリウッドスターのシドロー・モドローンです。 うそ、コヒ蔵です orz 今朝は寝坊しました。 寝坊してシドロモドロw シドロモドロで、 テンヤワンヤで、 アタフタで、 バタバタです。...

電器屋Walker新CMシリーズ(3)

Taiji君バージョン(アップル屋Walker チクチクツッコミ付き) Coffeeバージョン(可もなく不可もなく、スタンダードバージョン) Cheekバージョン(春だし、やっぱりムサイおじさん声より女の子の声だよねバージョン)...

調査に行ってきましたよ♪

ご機嫌如何ですか? INSTのコーヒーです(^o^)丿 昨日は日曜日。 と、言うことで電器屋さんへ調査へ行って来ました(^o^)丿 お店は大変な賑わい! で、メーカーさんから応援が来てたので早速聞き込み!!...

Do you make your week as you wish?

ぐるぐるっと回って一週間! 日曜日から新しい一週間が始まるというのが本当らしいのですが、 企業戦士、社会の歯車たる私にはどうしても「月曜日」が週の始まりな 気分です。 私の地方ではようやく春の気配を感じるようになってきました。 すっきりと晴れ渡った空。...

スズメの導入を検討します

ちゅんちゅん♪ スズメには全力で逃げられて、 ハトには大群にたかられる。  桂 コヒ蔵です(^o^)丿~♪ みなさん、朝食ってどうしていますか? 私の場合、以前は朝食を食べませんでした。 「ご飯食べる時間があるなら寝ていたい!!」ってのが本音ですがw...

ほぼ日刊の日記なら

全国1億3千万の○○ファンの皆様、こんにちわ。 軽妙な「ら抜き言葉」でお馴染み、桂 コヒ蔵です。 今日から改名して「ラーヌキ コヒ蔵」にしようとしましたが、市役所で苦笑いされましたw さて、みなさん毎日続けている事って何かありますか?...

ダイエットとチョコレートの甘い関係。

突然ですが、 私コーヒーはこの2年間で20キロ程のダイエットに成功しました。 ダイエット生活を本にまとめて夢の印税生活・・・と思っているのですがw 冗談はさておき、やれパソコンだ、やれゲームだと...

電器屋Walkerの新CM、「絶賛配信中」バージョン

以前から使用していた「パーソナリティー、Taiji、Coffee」で始まるCMは INST内の評判が結構良かったんです。 でも、実は・・・ 宇都宮に出張に行った際に、ホテルで収録ww ビジネスホテルに何十回と響き渡る「絶賛配信中」の声ww...

電器屋Walkerの新しいCMシリーズ(2)

電器屋Walkerの新しいCMシリーズ(2)です。 当然配信中にも流れますが、こちらでもちょっと紹介しますww 基本的に全員同じ内容を言っているはずです。(はず?w) どっから聞いても「アップルWalker」なTaiji君のCMでしたがw...

0コメント


電器屋Walkerの過去配信のBGMで利用させて頂いております。

ポッドキャスト品質向上、整音テクニック 解説Live

開催のお知らせ

詳細はこちら

国際ポッドキャストの日

International Podcast Day Event

ツキイチ - 隣のポッドキャスト

まとめファンサイト