Welcome to TechNet Blogs Sign in | Join | Help

Бета 2 Exchange Server 2007.

(из Бета 2 блога).

Можно загрузить Бета 2.

Новое:

  • Использование I/O сокращено на 69% в рабочей среде, хотя делается гораздо больше по сравнению с Exchange 2003.
  • Репликация - встроенная защита данных путем репликации.
  • Правила - определяют сохранение е-мэйлов и другие параметры.
  • Безопасность - Forefront анти-вирус и анти-спэм!
  • Единая система сообщений - совмещенная звуковая и обычная почта позволяет сортировать мэйл в дороге.
  • Календарь
  • Мобильность - новое для пользователя и администратора.
  • Новый Аутлук Веб Экссесс - все лучше и лучше.
  • Новые Веб-службы и Веб-части - без путаницы какой API когда использовать.
  • Администрация - MONAD, новая консоль управления, помощники в рещении проблем. Новый, полностью написанный, пользовательский интерфейс (GUI).

Локализовано на 46 языках, в том числе и на русском.

Начали публиковать документацию.

Имеются форумы.

Ждем ваших откликов!

Posted by borisk | 4 Comments

Фишинг

Мой друг пришел домой и застал маму с отчимом чуть ни в слезах. Мать получила следующего содержания сообщение от системы PayPal.

"Спасибо Вам за недавнюю покупку у нас цифрового фотоаппарата на сумму $550. (Дальше шла фамилия и адрес). Если Вы не покупали этот фотоаппарат, пожалуйста перейдите по ссылке (ссылка) и введите нужную информацию."

"Нужной" информации требовалось: фамилия, имя, адрес, номер кредитной карты, ее срок годности, а также проверочный код (три цифры на обороте). Мама плакала, потому что не знала какую же карту вводить, т.к. конечно же ничего подобного она не покупала, да и счета в PayPal'e у нее давно уже нет.

Фишинг - растущая, здоровая индустрия. Если и можно спорить о том, почему есть спэм (вопрос спроса и предложения, как с наркотиками), то тут-то все ясно. Никто не просит быть обманутым. Наши последние фильтры ловят Фишинг-сообщения, но все же далеко не так эффективно, как нам хотелось бы. Насколько я понимаю, в России это не такая проблема как в Штатах, хотя видимо скоро и там станет хуже. Наиболее эффективным методом борьбы с этим злом, как впрочем и с любым мошенничеством, является информация. Друг провел с мамой и отчимом беседу, чем вложил свою лепту в создание более безопасного виртуального пространства.

Posted by borisk | 0 Comments

Вопрос - ответ

Challenge - response одна из возможностей нового фильтра в Exchange сервере (я так до сих пор и не знаю, что можно, а что нельзя писать по английски). Хотел чуть-чуть на этом остановиться, поскольку сам его и писал.

Принцип тут ясен: А посылает письмо Б. Спэм фильтр Б что-то подозревает и отправляет А "вопрос", т.е. задачу на вычисление. Спэм фильтр А решает ее и посылает решение Б. Спэм фильтр Б проверяет ответ и добавляет А в список проверенных контактов Б. Все это происходит за кулисами - ни А ни Б не учавствуют в обмене сообщениями. Просто в какой-то момент Б видит в ящике письмо от А, и все дальнейшие письма от А идут к нему без задержек.

Безопасная имплементация этого сценария оказалась слишком сложной, поэтому пока ни один наш е-мэйл клиент его не воплотил. Имеется некий облегченный вариант. А посылает письмо Б, но прежде чем отрпавить это письмо, спэм фильтр А сам решает головоломку с определенными, известными парметрами. Спэм фильтр Б может ее проверить и благосклонно отнестись к письму от А.

Этот вариант имплементирован в Аутлуке 2007 (это называется Outlook Postmark, Почтовая Марка), а Хотмэйл, Аутлук Экспресс, Иксчэйндж 2003 и далее снабжены механизмом проверки. Тут делалась несколько иная попытка, чем в первом сценарии. Здесь мы хотели сделать отправку массовых е-мэйлов дороже. Алгоритмы, в соответствии с которыми создаются и решаются "задачи" работают так, что решение задачи занимает определенное (длительное) время, а проверка проходит практически моментально. Т. о. массовый отправитель не может себе позволить подобного без того, чтобы понести убытки, и спэм легко идентифицируется.

Работает ли на практике это решение? Поживем увидим. Мне все-таки кажется, что все, что имплементируется с такими трудностями уже не слишком надежно, а следовательно весьма подозрительна его польза. Как человек недавно испытавший на себе вариант подобного, но только потребовавший моего участия, могу сказать, что был раздражен.

Вряд ли можно сомневаться в том, что "Почтовая марка" нанесет какой-то удар по экономике спэма, как это когда планировалось. Тем не менее, она все-таки не бесполезна. Наличие ее уменьшит шанс того, что спэм фильтр "обознается" и поместит "хороший" е-мэйл в мусорную корзину.

Posted by borisk | 4 Comments

Война со спэмом.

В выходные, на вечеринке, встретил настоящего спэмера. Он заранее знал кто я от общих знакомых, поэтому сразу подошел ко мне и мы позировали для фотографии.

Звать его Роб, но это не настоящее его имя. А может быть это как раз настоящее имя, но не «рабочий» псевдоним. Он звонит и представляется: "Спэмер Роб". Спэмеру Робу 26 лет и он ни дня в жизни не работал. В 18 лет в его квартиру ворвалась команда особого назначения (S. W. A. T.), а занят он спэмом с 16 лет. Тогда можно было открыто посылать сколько угодно почты со своего небольшого адреса в Earthlink.

Роба постоянно судят Майкрософт и другие компании. У него, с его слов, накоплено приговоров на сумму $200.000.000. Денег у него нет. Т.е. все они спрятаны так, что никто откапать их не может. Поэтому что с него возьмешь? Тем не менее, стратегия затаскивания по судам возымела. Роб теперь «легальный» спэмер. Он больше не входит в десятку (или в тройку) самых больших спэмеров, согласно SpamHouse.org. Эти ребята в России, до них трудно добраться.

 

С тех пор, как в 2003м году Конгресс США легализовал спэм, приняв знаменитый Can-spam Act, Роб полностью «легален». Can-spam Act требует чтобы:

- почта содержала правильный Reply-To.

- почта содержала возможность для пользователя «отписаться» от получения подобных сообщений в будущем (т.е. отказаться от того, чего и так не просили).

Совершенно очевидно, к чему ведет подобный закон.

 

Роб считает, что война со спэмом проиграна. Он уподобляет ее войне с наркотиками. Пока люди будут «хотеть» получать спэм, т.е. кликать и заказывать, никакие фильтры их не остановят. С этим сложно спорить, однако сам Роб признает, что Hotmail, Yahoo!, Gmail – больше не являются объектами его атак. «Слишком хорошие фильтры», сетует он. Зато у него есть весь реестр домэйнов и в каждом – список пользователей. Имеем 85 млн. домэйнов, умножим на количество пользователей – получаем сумасшедшее количество адресов для спэма. Вот туда он и шлет свое добро. Роб человек не технический. «Я умею только брать деньги», говорит он, «для всего остального я нанимаю». Он гордится одной своей маленькой хитростью: когда атакуемый получает от него сообщение, в заголовке «От: » значится адрес атакуемого.

 

Роб гражданин Швеции. У него черные глаза, черные волосы, и никакого акцента. Квартира в самом сердце города, в высотке на берегу залива, выдержана в современном стиле с обилием теплых, бардовых тонов и белой мягкой мебели. Специально для вечеринки на кухне аккуратно в ряд выстроилось целое войско из бутылок водки и рома, все с металлическими крантиками чтобы было легче наливать, как в баре. В квартире полно гостей и дальнейший разговор о спэме вряд ли возможен. Следующая встреча и беседа об индустрии («но только не о том, что касается моего бизнеса») – в ближайшее время. Оставайтесь с нами.  

 

Posted by borisk | 4 Comments

Об отпечатках пальцев.

Одна из моих любимых технологий в новом фильтре это "отпечатки пальцев". База данных фильтра заполняется специальным образом обработанными "отпечатками" спэм сообщений. Обрабатывая е-мэйл, фильтр снимает с него отпечатки и сравнивает с тем, что ему уже известно. Если находится соответствие - е-мэйл классифицируется как спэм.

В основе технологии лежат исследования Марка Манасси и др. Подробнее вот здесь. А также, базисная работа. Я позволю себе быстро пробежаться по основам.

Допустим имеются сообщения M1 и M2. Допустим также, что мы их можем уникально определить множеством характеристик (например - слов, содержащихся в каждом сообщении. Без учета комманд HTML, пунктуации, приложений). Назовем эти множества Φ1 и Φ2. Определим сходство между M1 и M2 следующим образом:

(Это соответствует нашему интуитивному M1 и M2 "примерно похожи". Чем ближе пересечение к объединению множеств характеристик - тем более "похожи" сами документы).

Далее. Допустим, что из любого сообщения Мi, мы можем извлечь единственную характеристику φi из множества характеристик Φi, такую что для любых двух Мi, Мj :

Если у нас есть r таких алгоритмов выборки, мы можем применить их к каждому множеству Фi  r раз, собрать их в вектора  Фir и посчитать количество почленных совпадений между двумя такими векторами. Таким образом получаем:

Т.е. если допустим r = 100, количество совпадений будет в точности равно проценту сходства.

Если вас интересует дальнейшее развитие событий (а здесь я видимо поднял больше вопросов чем дал ответов), можете зайти на ссылки данные сверху. Но зерно всего вышесказанного вот в чем:

Сравнение разных по размеру документов, после обработки, сводится к почленному сравнению двух векторов одинакового, заданного размера, и т. о. число сравнений всегда является константой.

После дальнейшей обработки описанных выше векторов, мы сводим сравнения к нескольким просмотрам хэш-таблицы. Это позволяет фильтру быстро манипулировать огромными базами данных с отпечатками.

Posted by borisk | 2 Comments

Агрессивность новых защитников.

Хочу еще обратить ваше внимание на то, что новые защитники в Exchange, а именно те, которые следят за репутацией отправителя, не столь агрессивны, как кажется. Более того, если они ведут себя слишком агрессивно, админ всегда может немного их усмирить, повысив Уровень Репутации Отправителя (SRL) при котором происходит блокировка. Даже при не очень высоком (но осмысленном) значении этого уровня, довольно непросто попасть в черный список. Прежде всего, нужно уж очень постараться закидать сервер большим количеством сообщений. Это только для того, чтобы PA агент отправителем заинтересовался. И нужно, чтобы они уж очень не понравились спэм-фильтру, чтобы быть заблокированым. Отстутсвие PTR записи в DNS действительно очень негативно повлияет на вердикт PA агента. Но нужно еще до этого дожить, а это не так-то просто обычному отправителю.
Posted by borisk | 0 Comments

Гигиена сообщений. Часть III (и последняя).

Возможности сервера для Предприятий.

1. PA агент каждый час получает информацию об отправителях из списка , составляемого Майкрософтом. Мы получаем порядка 80.000 записей ежечасно. PA агент не блокирует сообщения от отправителей из этого списка с SRL большим или равным уровню блокировки, пока не увидит хоть одно сообщение от такого отправителя. В случае ошибки - админ всегда может разблокировать отправителя вручную. Также, в случае ошибки обновленный список будет распространен в экстренном порядке и ошибочная запись удалена из базы данных PA агента. Администратор все же должен будет разблокировать отправителя самостоятельно.

2. Снятие "отпечатков пальцев" с сообщений. Спэм фильтр оснащен технологией снятия "отпечатков пальцев". Эта технология позволяет за конечное (менее 10) количество сравнений определить "похож" ли текст А на текст Б с заданной вероятностью. База данных "отпечатков" известных спэм-сообщений обновляется и распространяется ежечасно.

3. База данных спэм фильтра обновляется и распространяется раз в 24 часа. В случае Стандартного сервера - каждые 2 недели.

Здрасьте (еще раз)

Мне тут нашептывают, что не представился мол. Исправляю ошибку. Звать Борис Коган. Родился и вырос в Москве, окончил ФМШ 2. Потом получил бакалавра и магистра в области математики и информатики в Иллинойском университете. С 1997 г. работаю в Майкрософте. До 2003го занимался продуктами семейства Офис, а с 2003 - работаю в отделе МСН - Безопасность (тогда он назывался анти-спам, нас было пять человек, теперь мы выросли раз в 30 и у нас вся безопасность, в том числе Windows OneCare).

Хобби: во-первых работа - самое мое большое хобби. Обожаю все эти дела, Майкрософт это круто. Ну и все остальное на ровне: литература, иностранные языки (несколько я знаю, где-то меньше десяти, правда. Но говорю на всех с одинм и тем же акцентом), Сиэтл и окресности, бодибилдинг (может кому-нибудь нужен тренер? :)).

А вот моя последняя фотка - апрель 2006, г. Москва, РФ.

 

P.S. Чуть ни забыл. Админы, пожалуйста убедитесь, что ваш Иксчэйндж сервер имеет доступ к DNS серверам, и ему сообщены их адреса. Наши защитники очень на это полагаются.

Posted by borisk | 2 Comments

Гигиена сообщений. Часть 2

Проснулся я как-то утром, а Protocol Analysis Agent-а нет. Пока я спал, кто-то взял и объединил всех транспортных агентов в одну библиотеку. Ну дак вот. Здесь в кратце я опишу чем занимаются наши агенты, цель которых защитить Ваш почтовый ящик от лавины изливающегося на него мусора.

Итак. Первая полоса защиты - Content Filtering Ageng. Это фактически спэм фильтр. Спэм фильтр выдает вердикт каждому сообщению до него дошедшему, от 0 - 9. 0 - хорошо, 9 - точно спэм. Админ может установить уровень допустимости (по-умолчанию он 7, и это в общем не стоит менять). Другой параметр отвечает за то, что делать если сообщение получило максимально допустимый вердикт (7 или более). По-умолчанию сообщение будет отвергнуто на уровне SMTP сессии.

Отвергнутое или нет, сообщение дойдет до Protocol Analysis (PA) агента, который следит за событиями OnEndOfData и за ОnReject. PA соберет всю нужную ему информацию и добавит IP посылавшего к своему внутреннему списку.

Обработка данных ведется этим агентом асинхронно, вне SMTP сессии. Агент выполняет следующие тесты:

  • Обратный DNS на IP. Поэтому если у пославшего не было PTR записи в DNS это может негативно повлиять не его вердикт
  • Тест на Open Proxy (происходит очень редко, т.к. очень мало отправителей являются Open Proxy
  • Анализ HELO. По-просту: соответствует ли то, что мы узнали из обратного DNS тому, откуда отправитель заявил, что он послал сообщения. Смотрим на FQDN.
  • Подсчет Уровня Репутации Отправителя (Sender Reputation Level - SRL).

Как и в случае со спэм фильтром, SRL это чилсо от 0 - 9. (9 - очень плохо). В отличие от вердикта спэм фильтра, SRL применяется к отправителю, а не к сообщению. Если SRL больше или равен максимально допустимому (7 тут тоже наилучший выбор), отправитель будет заблокирован на 24 часа (максимум - 48). Это значит, что он будет отброшен агентом по фильтрации соединений (Connnection Filtering Agent) при попытке сказать серверу Превед в следующий раз.

Сам PA агент довольно консервативен. Первый подсчет вердикта проводится только если мы видели достаточное количество сообщений в определенное время. Если после первого подсчета мы получили низкий вердикт - отправитель "награждается" тем, что в следующий раз подсчет произойдет при получении в несколько раз большего количества сообщений за тоже время.

Если же отправитель только что вышел из периода блокирования, он будет "наказан" тем, что подсчет SRL будет производиться в несколько раз чаще.

Имеется еще один важный компонент PA агента, бегущий в стороне от транспортного процесса. Этот компонент ответсвеннен за получение данных нашего списка известных отправителей и передачи его PA агенту. Данные в этом списке уже содержат SRL. Если сообщение пришло от одного из таких отправителей и SRL в нем больше максимально допустимого, отправитель будет заблокирован. Подробнее в следующем посте.

Гигиена Сообщений. Часть I.

В основе "гигиены сообщений" (Message Hygiene) лежит концепция "агентов". Агент - это компонент сервера, "просыпающийся" в момент возникновения SMTP-сессии, и, бодрствующий все время, пока сессия продолжается.

Каждый из SMTP-агентов следит за событиями, происходящими во время сессии, и совершает определенные действия над сообщениями, если такие события происходят. Если несколько агентов заинтересованы в одном и том же событии, доступ к сессии они получают по-порядку.

Административная консоль (в графической и командной версиях) позволяет посмотреть на то, какие агенты в настоящий момент включены:

Можно отключить агент полностью, а также изменить этот установленный порядок. Это делается командой set-transportagent:

set-transportagent -identity:"sender id agent" -priority:4

поднимет Sender Id Agent вверх на одну позицию, поставив его перед Content Filter Agent (спэм-фильтр).

Поскольку часто, операции, выполняемые агентами, требуют много времени, которого у них нет (сообщение должно быстро проходить свой путь до почтового ящика пользователя или до мусорной корзины), агенты просто собирают необходимые данные и обрабатывают их потом асинхронно.

Обычно, обработав сообщение, агент передает его дальше "по цепи", а сам получает следующее, или засыпает, если сессия окончена. В некоторых случаях, однако, он может просто прервать сессию. Так ведет себя Connection Filtering Agent (Агент Фильтрации Связи). Если сессию пытается создать IP, находящийся в черном списке, она тут же и прекратится.

(Сессия, начатая IP 10.10.10.1 кончится без того, чтобы какой-нибудь из агентов увидел что либо. IsMachineGenerated == True означает, что заблокировал данный IP Агент Анализа Протокола).

 Черный список может быть модифицирован как администратором (также и через графический интерфейс) так и другими агентами (в данной версии - только одним Агентом Анализа Протокола - Protocol Analysis Agent). 

Безопасность Exchange Server'a

Приходили ребята из NGS Consulting – компании, занимающейся безопасностью софта. Цель: установить есть ли лазейки в Exchange Server, которые повлекли бы за собой катастрофические последствия. Вчера они рассказывали о своих находках. Парень, с детским лицом, тихим голосом и британским произношением (компания из Великобритании), за 40 минут из отведенного часа рассказал набившим до отказа большую комнату разработчикам, что никаких серьезных дыр в продукте не обнаружено, и в общем ничего страшного сделать с ним нельзя.

В сфере анти-спэма, они нашли пару мелочей, которые после некоторых размышлений, были нами признаны вполне безвредными (существуют гораздо более легкие способы обойти спэм-фильтр, если обладать информацией необходимой для найденного NGS пути). Так что в общем все вздохнули с облегчением.

Posted by borisk | 2 Comments

Интервью со спамером.

Мой босс встречтался. Многого, по разным причинам, рассказать не могу. Но вот кое-что любопытное:

  • начал в 14 лет (сейчас ему 21)
  • профессию изучал, читая Веб.
  • в лучшие годы ревеню составляло $5 млн./год, 20 человек на него работало.
  • занимался в основном ипотеками
  • Хотмэйл, AOL, Yahoo - самые доходные.
  • Гугл - слишком маленький.
  • Большинсвто "плохих" спамеров в России и Китае (порнуха, фишинг, и т.д., из-за трудностей их преследования по-закону)
  • Спэм блогов приобретает популярность.
  • Немного распространителей списков: их надо накрыть.
  • Всего менее 1000 серьезных спэмеров, ревеню менее $100 млн.
  • Спэм-индустрия хужеет, больше денег можнно сделать на анти-спэме (согласно ему).
Posted by borisk | 0 Comments

С Праздником Победы!

Всех поздравляю с Днем победы!
Posted by borisk | 0 Comments

Начало.

Новый блог. Здесь я буду время от времени писать о том, что нового в "гигиене сообщений" (официальное название) Иксчэйндж сервера. В особенности - по части анти-спэма.

Прежде всего, необходимо чтоб вы поняли, как же этот сервер устроен. Поскольку описывать это слишком сложно, предлагаю просто посмотреть на картинку. Тут все и увидите:

Posted by borisk | 0 Comments
More Posts « Previous page
 
Page view tracker