Анти-спам (и анти-спэм) : Гигиена сообщений

Гигиена сообщений. Часть III (и последняя).

borisk — Tue, 30 May 2006 04:56:00 GMT

Возможности сервера для Предприятий.

1. PA агент каждый час получает информацию об отправителях из списка , составляемого Майкрософтом. Мы получаем порядка 80.000 записей ежечасно. PA агент не блокирует сообщения от отправителей из этого списка с SRL большим или равным уровню блокировки, пока не увидит хоть одно сообщение от такого отправителя. В случае ошибки - админ всегда может разблокировать отправителя вручную. Также, в случае ошибки обновленный список будет распространен в экстренном порядке и ошибочная запись удалена из базы данных PA агента. Администратор все же должен будет разблокировать отправителя самостоятельно.

2. Снятие "отпечатков пальцев" с сообщений. Спэм фильтр оснащен технологией снятия "отпечатков пальцев". Эта технология позволяет за конечное (менее 10) количество сравнений определить "похож" ли текст А на текст Б с заданной вероятностью. База данных "отпечатков" известных спэм-сообщений обновляется и распространяется ежечасно.

3. База данных спэм фильтра обновляется и распространяется раз в 24 часа. В случае Стандартного сервера - каждые 2 недели.

Гигиена сообщений. Часть 2

borisk — Wed, 24 May 2006 02:26:00 GMT

Проснулся я как-то утром, а Protocol Analysis Agent-а нет. Пока я спал, кто-то взял и объединил всех транспортных агентов в одну библиотеку. Ну дак вот. Здесь в кратце я опишу чем занимаются наши агенты, цель которых защитить Ваш почтовый ящик от лавины изливающегося на него мусора.

Итак. Первая полоса защиты - Content Filtering Ageng. Это фактически спэм фильтр. Спэм фильтр выдает вердикт каждому сообщению до него дошедшему, от 0 - 9. 0 - хорошо, 9 - точно спэм. Админ может установить уровень допустимости (по-умолчанию он 7, и это в общем не стоит менять). Другой параметр отвечает за то, что делать если сообщение получило максимально допустимый вердикт (7 или более). По-умолчанию сообщение будет отвергнуто на уровне SMTP сессии.

Отвергнутое или нет, сообщение дойдет до Protocol Analysis (PA) агента, который следит за событиями OnEndOfData и за ОnReject. PA соберет всю нужную ему информацию и добавит IP посылавшего к своему внутреннему списку.

Обработка данных ведется этим агентом асинхронно, вне SMTP сессии. Агент выполняет следующие тесты:

Обратный DNS на IP. Поэтому если у пославшего не было PTR записи в DNS это может негативно повлиять не его вердикт
Тест на Open Proxy (происходит очень редко, т.к. очень мало отправителей являются Open Proxy
Анализ HELO. По-просту: соответствует ли то, что мы узнали из обратного DNS тому, откуда отправитель заявил, что он послал сообщения. Смотрим на FQDN.
Подсчет Уровня Репутации Отправителя (Sender Reputation Level - SRL).

Как и в случае со спэм фильтром, SRL это чилсо от 0 - 9. (9 - очень плохо). В отличие от вердикта спэм фильтра, SRL применяется к отправителю, а не к сообщению. Если SRL больше или равен максимально допустимому (7 тут тоже наилучший выбор), отправитель будет заблокирован на 24 часа (максимум - 48). Это значит, что он будет отброшен агентом по фильтрации соединений (Connnection Filtering Agent) при попытке сказать серверу Превед в следующий раз.

Сам PA агент довольно консервативен. Первый подсчет вердикта проводится только если мы видели достаточное количество сообщений в определенное время. Если после первого подсчета мы получили низкий вердикт - отправитель "награждается" тем, что в следующий раз подсчет произойдет при получении в несколько раз большего количества сообщений за тоже время.

Если же отправитель только что вышел из периода блокирования, он будет "наказан" тем, что подсчет SRL будет производиться в несколько раз чаще.

Имеется еще один важный компонент PA агента, бегущий в стороне от транспортного процесса. Этот компонент ответсвеннен за получение данных нашего списка известных отправителей и передачи его PA агенту. Данные в этом списке уже содержат SRL. Если сообщение пришло от одного из таких отправителей и SRL в нем больше максимально допустимого, отправитель будет заблокирован. Подробнее в следующем посте.

Гигиена Сообщений. Часть I.

borisk — Fri, 12 May 2006 03:47:00 GMT

В основе "гигиены сообщений" (Message Hygiene) лежит концепция "агентов". Агент - это компонент сервера, "просыпающийся" в момент возникновения SMTP-сессии, и, бодрствующий все время, пока сессия продолжается.

Каждый из SMTP-агентов следит за событиями, происходящими во время сессии, и совершает определенные действия над сообщениями, если такие события происходят. Если несколько агентов заинтересованы в одном и том же событии, доступ к сессии они получают по-порядку.

Административная консоль (в графической и командной версиях) позволяет посмотреть на то, какие агенты в настоящий момент включены:

Можно отключить агент полностью, а также изменить этот установленный порядок. Это делается командой set-transportagent:

set-transportagent -identity:"sender id agent" -priority:4

поднимет Sender Id Agent вверх на одну позицию, поставив его перед Content Filter Agent (спэм-фильтр).

Поскольку часто, операции, выполняемые агентами, требуют много времени, которого у них нет (сообщение должно быстро проходить свой путь до почтового ящика пользователя или до мусорной корзины), агенты просто собирают необходимые данные и обрабатывают их потом асинхронно.

Обычно, обработав сообщение, агент передает его дальше "по цепи", а сам получает следующее, или засыпает, если сессия окончена. В некоторых случаях, однако, он может просто прервать сессию. Так ведет себя Connection Filtering Agent (Агент Фильтрации Связи). Если сессию пытается создать IP, находящийся в черном списке, она тут же и прекратится.

(Сессия, начатая IP 10.10.10.1 кончится без того, чтобы какой-нибудь из агентов увидел что либо. IsMachineGenerated == True означает, что заблокировал данный IP Агент Анализа Протокола).

Черный список может быть модифицирован как администратором (также и через графический интерфейс) так и другими агентами (в данной версии - только одним Агентом Анализа Протокола - Protocol Analysis Agent).