Files and more

WinFS будет трансформирован в новые компоненты SQL Server и ADO.NET

2006-06-25T01:32:00Z

Вчера на блоге WinFS был опубликован пост, который говорит о решении, принятом в отношении проекта WinFS. WinFS не будет выпущен как отдельный продукт.

Вместо этого, компоненты проекта WinFS будут включены в следующий релиз SQL Server, а также в новую версию ADO.Net, которая выходит в следующем релизе Visual Studio.

Подробнее об этой новости вы можете прочитать на этом англоязычном сайте:

http://blogs.msdn.com/winfs/

Бета версия Windows Vista перегружает интернет-каналы

2006-06-13T22:12:00Z

Недавно было принято решение ограничить доступ к скачиваемому дистрибутиву Windows Vista. Дистрибутив размером 3.5Gb стал настолько популярным, что стала использоваться практически вся пропускная способность основных каналов интернета. Если бы доступ к бете не был ограничен, то ухудшение качества связи было бы замечено многими пользователями во всем мире.

Из этого факта можно сделать два вывода. Во-первых, мы получили еще одно подверждение, что пропускные способности интернета хоть и велики, но не безграничны. Во-вторых, эта новость имеет отношение к давнему спору: что лучше консолидация данных в одном или двух дата-центрах или распределенная архитектура удаленных офисов, когда большинство данных и файлов, необходимых для работы копируется в удаленный офис.

Архитектура удаленных офисов позволяет передавать меньше данных по интернет каналам. Это не только экономит деньги компании, но и отдаляет момент, когда сегодняшняя инфраструктура интернета перестанет справлятся с растущей нагрузкой.

Представьте, как было бы удобно, если бы дистрибутив беты Windows Vista был бы доступен на сервере в каждой локальной сети – какой экономии трафика на основных каналах можно было бы достичь! Конечно это предложение из области фантастики. Это пока невозможно по целому ряду причин, а жаль...

Топологии для репликации данных

2006-06-09T07:18:00Z

Один из важных вопросов, который стоит перед администратором DFSR является правильный выбор топологии для репликации. В этом посте я хочу рассказать о часто используемых топологиях и об их применении.

Самой простой топологией является полностью связанная сеть (full mesh), когда есть двухсторонне соединение между любыми двумя серверами в репликационной группе. Эта топология отличается большой надежностью и устойчивостью к сбоям. Даже если половина серверов станет недоступна, то оставшиеся серверы будут продолжать работать и реплицировать данные.

Недостатком этой топологии является сложность в администрировании и мониторинге репликации в случае, если репликационная группа содержит более 10 серверов.

Для больших репликационных групп широкое распространение получила центрально-радиальная топология (Hub and spoke). В этом случае существует единый центральный сервер репликации – хаб, который соединен со всеми остальными серверами в группе. Естественно, в данном случае на центральный узел ложится очень большая ответственность. Ведь в случае проблемы на центральном сервере репликация остановится для всей группы. Для предотвращения этой ситуации устанавливают два или более хаба, которые соединены между собой в виде связанной сети. Все остальные серверы имеют соединение с каждым хабом из этой центральной группы.

Другой подход к топологии репликации – это повторение топологии сети, с целью консолидации трафика и экономии на сетевых расходах. Например, если у компании есть серверы в двух городах. Часто имеет смысл конфигурировать топологию так, что есть только одно (или два для большей надежности) соединения между серверами в разных городах. Таким образом репликация всех изменения в репликационных группах будут проходить через это соединение.

О борьбе с запрещенными файлами на файловых серверах

2006-06-01T04:09:00Z

Этот пост навеян комментарием одного из читателей моего блога, о проблемах вызванных хранением mp3 и avi файлов на сервере.

Многие компании хотят ограничить использование файловых серверов в нерабочих целях -- например предотвратить хранение музыки и фильмов на серверах компании. Причины могут быть разные, хотя основная причина это просто желание сэкономить место на диске.

Однако, если у пользователей есть возможность создавать файлы на сервере, то некоторые из них могут не совладать с соблазном. Кто-то захочет поделиться новым клипом любимой рок группы с коллегами, кто-то сделать backup своей mp3 коллекции.

Один способ борьбы с таким нерациональным использованием серверов – это периодический мониторинг файлов на сервере с помощью скриптов. Если нежелательные файлы обнаружены, за этим следует их удаление, и санкции к тому, кто их туда положил. Однако такое решение отнимает время, которое могло бы быть потрачено на другие не менее важные дела.

В Windows Server R2 входит продукт File Server Resource Manager (FSRM), который позволяет решить эту проблему раз и навсегда. FSRM позволяет запретить пользователям сохранять файлы с определенными расширениями на сервере.

Администратор может создать шаблон (template), который описывает категории файлов и ограничения на них. На скриншоте показан шаблон для аудио и видео файлов.

В дальнейшем этот шаблон может быть реализован для директорий на сервере. Например, следующий скриншот показывает, ограничение на аудио и видео файлы в директории C:\Users.

Теперь, если вы попробуете скопировать mp3 файл в эту директорию, то операция вернет ошибку “Access denied”.

Кроме этого, FSRM позволяет

Конфигурировать дисковые квоты для пользователей
Генерировать отчеты, которые показывают статистику использования файлов на сервере

О квотах и файловых отчетах я расскажу как-нибудь в другой раз.

Мониторинг DFS Replication с помощью Microsoft Operation Manager

2006-06-01T03:16:00Z

На этой неделе был выпущен “Microsoft Windows DFS Replication Service Management Pack for Microsoft Operations Manager 2005” (длинное, однако же, название).

Этот Management Pack приносит такие возможности:

Сообщения о проблемах с репликацией данных
Цветовой статус (красный, желтый, зеленый) для репликационных групп и серверов.
Сообщения о конфликтах репликации

Management Pack доступен для скачивания на сайте Microsoft:

http://www.microsoft.com/downloads/details.aspx?FamilyId=651E7C4A-484B-4AA2-9FBF-F3538075B9E8&displaylang=en

Новые файловые возможности Windows Vista

2006-05-29T08:29:00Z

В сегодняшнем посте я немного отвлекусь от обсуждения DFS и DFSR, тем более что есть соответствующий повод. На этой неделе был выпущен долгожданный релиз Windows Vista Beta 2.

Очень много было и еще будет сказано про новые возможности Vista в области мультимедиа технологий, визуализации и графическом интерфейсе. Эти новые возможности у всех на виду.

Я же хочу упомянуть о нескольких менее рекламируемых, но не менее важных новых возможностях Windows Vista, связанных с управлением файлами и файловой системой.

Транзакционная файловая система – Transactional File System

Эта возможность будет очень интересна разработчикам приложений. В Vista появилась возможность включать операции с файлами в транзакции со стандартной функциональностью 2-х фазового коммита (2 phase commit transaction). Например, если надо одновременно создать или изменить несколько файлов, и ситуация когда один файл изменен, а другой не смог быть модифицирован не допустима. Эти операции можно объединить в одну транзакцию, и в случае ошибки все файлы, участвующие в транзакции останутся в исходном состоянии. Другой пример – если нужно создать файл и добавить информацию о нем в базу данных, то можно это сделать в пределах одной распределенной транзакции.

Защищенная файловая система (Encrypting File System - EFS)

Windows Vista предоставляет новые возможности для защиты данных на дисках компьютера. EFS предоставляет возможность защищать файлы, директории или целые диски с помощью шифрования данных. Ключи для алгоритмов шифрования могут храниться на смарт картах, что делает систему еще более стойкой к взлому.

Если же компьютер оборудован аппаратной поддержкой Trusted Platform Module (TPM), то пользователи могут использовать технологию защиты дисков BitLocker Drive Encryption. ТPM это специальный чип, который позволяет хранить ключи шифрования, пароли и цифровые сертификаты. Технология BitLocker защищает от копирования данных при переносе диска на другой компьютер, или загрузке другой операционной системы с дискеты или CD.

Автоматическое создание теневых копий -- Volume Shadow Copy

Вы когда-либо случайно стирали или изменяли важный документ? Я сталкивался с подобными ситуациями. В Windows Vista теперь можно быстро восстановить предыдущую копию файла из теневой копии. Теневая копия документа автоматически создается при изменении файла, так что если документ случайно удален или модифицирован, то его можно быстро восстановить. Раньше эта технология была доступна только в Windows Server. Теперь пользователи Vista тоже могут использовать все эти преимущества.

DFS Replication - технология репликации файлов в Windows Server R2

2006-05-25T05:05:00Z

Ну а теперь пост про одну из самых важных новых технологий в релизе Windows Server 2003 R2.

Как известно, администраторы файловых серверов тратят много усилий на синхронизацию Фазиловых серверов в организации. Какие только приемы не используются – от ручного копирования новых файлов или xcopy, до скриптов, которые выполняются по определенному расписанию.

Представьте, что есть возможность автоматизировать этот процесс, и сделать его более удобным для администратора. Звучит заманчиво, не так ли? В Windows Server R2, такая возможность есть – все это можно сделать с помощью DFS Replication.

DFS Replication позволяет синхронизировать реплицируемые файловые директории (replicated folders) между серверами, которые входят в репликационную группу (replication group). Серверы в репликационной группе связаны между собой соединениями (connections), так что существует путь между любыми двумя серверами.

Данные можно реплицировать как в пределах локальной сети, так и через глобальную WAN сеть. Технология DFSR была спроектирована с расчетом на медленные WAN сети и работает столь же надежно через Интернет, как и в пределах одного здания. Репликация данных устойчива к проблемам с сетью. Если связь с удаленной машиной прервется, то репликация, разумеется, остановится. Но как только сеть будет снова работать, то репликация начнется с того места, где она прервалась. Поэтому DFSR – это очень полезный инструмент для синхронизации данных между дата-центром компании и удаленными офисами в регионах.

К тому же репликация может происходить в удобное для организации время, чтобы не занимать сеть тогда, когда она нужна для других целей. Для этого можно устанавливать расписание синхронизации, и для каждого слота в расписании можно существовать лимит использования сети. Например: днем передавать данные со скоростью не более 128Кб/сек, а ночью передавать данные со скоростью 1Мб/сек.

DFSR это мульти-мастерная система репликации. Это означает, что реплицируемый файл может быть изменен на любой машине, и эти изменения будут распостранены на все машины, участвующие в репликации.

Одним из главных достоинств DFSR является компрессия данных при репликации. Используется два вида компрессии:

Обычное сжатие данных, похожее на то, которое применяется в архиваторах
Алгоритм дифференциальной компрессии -- Remote differential compression algorithm (RDC), который применяется для репликации изменений. Основная идея этого алгоритма состоит в том, что реплицируются только измененные части файла. Например, если есть большой текстовый документ, и мы добавили несколько страниц в середину документа, то только эти несколько страниц и будут переданы по сети во время следующего сеанса синхронизации.

Кроме того, модификация алгоритма RDC, cross-file RDC, используется и для репликации различных файлов, похожих между собой. Например, если у нас есть текстовый документ, который получен путем изменения другого документа, то cross-file RDС перешлет по сети ссылку на исходный файл вместе с информацией о различиях между файлами.

Таким образом, во многих ситуациях DFSR дает значительную экономию сетевого трафика, по сравнению с обычным копированием, за счет выигрыша от компрессии данных.

Хотя в названии технологии DFSR присутствует упоминание распределенной файловой системы, репликация может использоваться и без добавления реплицируемых директорий в пространство имен какого-либо DFS корня. Однако в большинстве случаев, DFSR используется вместе с пространством имен DFS. Это позволяет обеспечить прозрачный доступ к файловым ресурсам и безотказную работу (так как если один из серверов становится недоступным, то пользователь будет автоматически перенаправлен на другой сервер).

Блог про DFS и DFS Replication

2006-05-19T20:23:00Z

Наконец-то мой блог стал доступен через RSS ленту на русской странице Technet.

Мои предыдущие посты:

Блог про DFS и DFSR

Терминология DFS

Преимущества использования DFS

2006-05-17T21:22:00Z

Когда разговор заходит о DFS, многие говорят о том, что DFS помогает пользователям быстро находить файлы, не заботясь об их физическом местоположении. Это возможно благодаря виртуальному пространству имен (virtual namespace). Возможность сделать структуру директорий прозрачной для конечного пользователя является самым известным преимуществом DFS. Однако, использования DFS может принести ряд других выгод, которые я перечислю ниже.

Более легкое администрирование файлового сервера.

Так как расположение файлов скрыто от конечного пользователя, то следовательно можно легко перенести файлы на другой сервер, не затрагивая пользователя. Рассмотрим сценарий директорий пользователей (Users folders), который популярен во многих компаниях. Пусть у нас есть следующая иерархия DFS:

\\FILESRV\Users <- локальный корень DFS

\\FILESRV\Users\Alex <- DFS ссылка указывающая на \\STORAGE1\Folders\Alex

\\FILESRV\Users\Tom <- DFS ссылка указывающая на \\STORAGE1\Folders\Tom

В один прекрасный день администратор обнаружил, что на сервере STORAGE1 мало места, и решил перевести часть пользователей на новый сервер NEWSTORAGE. Если бы не было DFS, то администратор должен был бы сказать пользователю об этом новом сервере. Если же какие-то программы автоматически используют данные из директории пользователя, то надо еще и изменить настройки программ.

Однако, с DFS можно просто изменить DFS ссылку (например \\FILESRV\Users\Alex теперь показывает на \\NEWSTORAGE\Folders\Alex). И конечный пользователь может даже не знать о том, что его данные теперь хранятся на другом файловом сервере.

Бесперебойная работа файлового сервера

Одна виртуальная директория в DFS может иметь несколько ссылок. Например:

\\FILESRV\Programs\Office2003 ->

\\SERVER1\Programs\Office2003

\\BACKUPSERVER\Programs\Office2003

Теперь, в случае если SERVER1 станет недоступен, например из-за проблем с сетью, пользователь будет автоматически перенаправлен к серверу SERVER1.

Балансировка нагрузки (load balancing)

В предыдущем примере, можно настроить DFS так, чтобы пользователи направлялись сразу на оба сервера, обеспечивая их равномерную нагрузку. Это ведет к более быстрой работе с файлами.

Автоматический доступ к наиболее близкому серверу

Если у компании есть два офиса в разных районах города, то было бы разумно направлять пользователя к серверу, который расположен в его офисе, а не к серверу в другом районе. Это тоже можно сделать с помощью DFS.

\\FILESRV\Programs\Office2003 ->

\\CENTER-SRV\Programs\Office2003

\\WEST-SRV\Programs\Office2003

Теперь пользователи в центральном офисе будут использовать сервер CENTER, a пользователи в западной части города будут обращаться к серверу WEST-SRV. Если же пользователь локальный сервер становится недоступен, то пользователь автоматически переключается на другой сервер. А когда локальный сервер снова работает, dfs клиент снова переключится на более близкий сервер. (Стоит заметить, что авто-переключение на локальный сервер требует конфигурации Windows Server R2 + клиент на XP SP2 с установленным обновлением KB898900. Подробнее об авто переключении на локальный сервер я напишу в одном из следующих постов).

Кроме удобства и более высокой скорости работы с файлами, это позволяет экономить деньги на сетевом трафике.

Я думаю, что достоинства DFS очевидны. Однако в связке с репликацией данных DFS Replication, мы получаем еще более гибкую систему управления файловыми серверами. Мой следующий пост будет посвящен DFS Replication.

Терминология DFS

2006-05-17T18:15:00Z

Терминология DFS

Я думаю, что разговор о DFS надо начать с терминологии. Так как терминология немного изменилась в Windows Server R2, я приведу и старые и новые названия. Хочу заметить, что у меня нет под рукой локализованной версии Windows Server, так что если я что-то перевел неправильно, то дайте мне знать

Название в Server 2003	Название в Server R2	Значение
Root – корень	Namespace – пространство имен	Виртуальное дерево папок
Root Server – корневой сервер	Namespace Server – Сервер пространства имен	Сервер, отвечающий за один или более корень DFS (пространство имен)
Dfs Root – корень dfs	Namespace root – корень пространства имен	Корневая папка в пространстве имен
Link – ссылка	Folder – папка (директория)	Папка в виртуальном пространстве имен. Папки могут иметь ссылки.
Link target – целевая ссылка	Folder target – ссылка	UNC путь к сетевой папке (shared folder)

А теперь иллюстрация:

В данном примере:

\\Contosco.com\Public – это пространство имен на сервере \\Contosco.com
\\contosco.com\public\projects\data -- папка имеющая две ссылки на серверы в Лондоне и Нью-Йорке
\\contosco.com\public\projects\software -- папка имеющая лишь одну ссылку на сервер в Нью-Йорке

Блог про DFS и DFSR

2006-05-15T20:36:00Z

Приветсвую всех на страницах моего нового блога, который посвящен технологиям Microsoft для хранения и репликации файлов (надеюсь, что я выбрал удачный перевод для термина Microsoft File Storage solution).

Сразу приношу извинения за косноязычность. Я не знаю как многие термины и названия переводятся на русский. Если вы знаете более удачный перевод того или иного слова, то я буду рад вашим советам.

Я работаю в группе Core File Solutions, и непосредственно занимаюсь Distributed File System (DFS) и Distributed File System Replication (DFSR).

Что такое DFS, и для чего ее применяют? Distributed File System (Распределенная Файловая Система) – это технология которая позволяет объединить файлы и директории на разных файловых серверах и рабочих станциях в единую структуру директорий. Тем самым, DFS создает инфраструктуру, которая помогает пользователям быстро находить нужные файлы, независимо от того, на каком компьютере они находятся.

Distributed File System Replication (DFSR) -- это технология репликации файлов между файловыми серверами. Технология DFSR стала доступна в новом релизе сервера, Windows Server 2003 R2, который был выпущен в конце 2005 года. Хочу заметить, что DFSR не поставляется с предыдущей версией Windows Server 2003. В версию 2003 включен другой продукт – File Replication System (FRS), который менее надежен и более сложен в использовании. Поэтому, если вы заинтересованы в репликации файлов, вам надо как можно быстрее переходить на релиз R2.

В течении нескольких недель я буду выкладывать посты про DFS и DFSR, начиная с самых базовых тем. Если у вас есть какие-то конкретные вопросы по этим технологиям, задавайте их мне, и я постараюсь на них ответить. А пока, вот темы, с которых я начну:

Преимущества использования Distributed File System (DFS)
Как работает Distributed File System Replication (DFSR)
Повышение надежности файлового сервера с помощью DFS
Как настроить репликацию данных между двумя серверами
Безопасность данных (security) и DFS
Топологии серверов, часто используемые при репликации
О маштабируемости (scalability) DFS для больших структур директорий

Ну, как говориться, в добрый путь….