Microsoft Russia ISV Team

Импорт dbf в SQL Server

isvrus — Mon, 14 May 2012 14:04:00 GMT

Несмотря на то, что dbf давно считается legacy форматом, сабж до сего времени остается насущной задачей судя по количеству вопросов в Интернете. В частности, я с ней столкнулся при попытке затянуть в таблицу карту. Карта ArcGIS содержала метаданные в формате dbf. Имело смысл прочитать их заодно в SQL Server, чтобы не делать вручную подписи к полигонам, линиям и иным картографическим объектам. В давние времена Visual FoxPro 6 и SQL Server 7.0 это не составляло проблемы, но с тех пор многое изменилось. С выходом SQL Server 2005 в MSDN появилась информация, что мастер импорта и экспорта в SQL Server не поддерживает импорт и экспорт dBASE-файлов и других DBF-файлов. В качестве решения рекомендовано использовать SQL Server Integration Services или промежуточный импорт в Access или Excel. Такая же ситуация формально сохраняется по сей день, включая SQL Server 2012. Это не всегда удобно, потому что, помимо SQL Server, требует дополнительной установки MS Office, а средства разработки ETL-пакетов не входят в состав бесплатной редакции SQL Server Express. В этой заметке я постараюсь импортировать dbf в SQL Server, не пользуясь ничем, кроме SQL Server.

Имеется файл regions2010_wgs.dbf, взятый отсюда. Открываем SQL Server Management Studio, в Object Explorer выбираем базу, в таблицу которой будем импортировать dbf, и из контекстного меню говорим Import Data:

Рис.1

В качестве источника данных указываем .Net Framework Data Provider for ODBC, коль скоро ODBC теперь снова наше все, в качестве ConnectionString - следующую строку соединения:

Driver={Microsoft dBase Driver (*.dbf)};SourceType=DBF;SourceDB=NA;Exclusive=No; NULL=No;Deleted=No;BackgroundFetch=No

Рис.2

Нажимаем Next. Если теперь нажать Back, мы увидим, что свойства соединения развернулись из строки в столбец так, чтобы можно было лицезреть их список и видеть, чему каждое из них равно:

Рис.3

Примеры строки соединения для ODBC-драйвера dBase приводятся, например, в Microsoft Knowledge Base или на ресурсе connectionstrings.com. В целом, о назначении тех или свойств легко догадаться из их названий, кроме, пожалуй, свойства Deleted, которое имеет прямо противоположный смысл. Как известно, операция удаления строки в dBase/FoxPro не приводит к ее немедленному физическому удалению из файла. Строка лишь помечается, что она удалена. Физическая очистка строк, у которых проставлен признак удаления, и реорганизация файла выполняются командой PACK. Значение NO говорит драйверу включить удаленные строки в возвращаемый набор результатов. Чтобы, наоборот, их не показывать, надо поставить YES. Жмем Next.

На следующем экране все просто. Задается соединение с SQL Server, включая ту базу, в которой будет создана таблица с результатами импорта из dbf:

Рис.4

Идем дальше. Предлагается выбрать dbf-ную таблицу из списка таблиц или написать руками запрос. Имеет смысл, например, для FoxProшной базы, которая, как и всякая нормальная база, представляет собой контейнер, в котором содержится несколько таблиц, в данном случае в виде отдельных dbf-файлов. Для индивидуального dbf-файла это не работает - см., например, OdbcConnection.GetSchema("tables") all wrong for .dbf file, и сотрудники поддержки Microsoft рекомендовали в этой ситуации использовать OLE DB Provider for Visual FoxPro. Во-первых, случай имел место задолго до коренного перелома генеральной линии партии. OLE DB тогда было наше все, a ODBC, наоборот, относилось к старым унаследованным интерфейсам. Во-вторых, я не понимаю, зачем броузить список dbf, когда он и так один.

В случае разрозненных dbf, лежащих в одной директории, надо задать в строке ODBC-соединения (Рис.3) свойство DefaultDir, например,

Driver={Microsoft dBase Driver (*.dbf)};sourcetype=DBF;DefaultDir=c:\Temp;exclusive=No;null=No;deleted=No;backgroundfetch=No

Тогда можно отметить Copy Data from one or more tables or views.

Рис.5

и будет выведен список dbf в этой директории, из которого будет предложено выбрать:

Рис.6

Но я не задавал DefaultDir на Рис.3, поэтому выбираю написать запрос:

Рис.7

и пишу:

Рис.8

а в ответ получаю ошибку The Microsoft Jet database engine could not find the object 'regions2010_wgs.dbf':

Рис.9

Эта ошибка происходит из-за того, что глупый драйвер до сих пор воспринимает имена файлов в формате MS-DOS 8.3. Если переименовать файл regions2010_wgs.dbf в, скажем, aaa.dbf, а запрос Рис.8, соответственно, заменить на select * from c:\Temp\aaa.dbf, ошибка пропадает. Будет предложено выбрать существующую или задать название таблицы, которая будет создана на SQL Server в базе Database1 (см.Рис.4) под результаты импорта из dbf. Oставляю предлагаемое название как есть:

Рис.10

Нажав здесь же кнопку Preview, можно предварительно ознакомиться с содержимым dbf, которoе предполагается перенести на SQL Server:

Рис.11

Все хорошо, только удручает абракадабра вместо русского текста. Причину ее появления в популярной форме объясняет уважаемый автор Lalex здесь. Русские символы слетают из-за того, что глупый драйвер ожидает dbfный файл в DOSовской кодировке (CP866, она же OEM). Он, похоже, считает формат dbf очень древним, чисто досовским наследием. ArcView же по умолчанию считает DBF виндосовским форматом (ANSI 1251). Так и стоят эти две программы, как два бычка, упершись лбами.

Итак, причина ясна, осталось ее поправить. Пляски с бубном прописать в строку соединения collate=Machine или Russian / CodePage=ANSI / Collating Sequence=1251 к успеху не привели. Изменил 29-й байт в aaa.dbf на 0хС9 - ноль эмоций. Действительно, признак кодовой страницы в заголовке dbf драйвером игнорируется. Однако настройку драйвера можно изменить в реестре. Она хранится в DataCodePage по пути HKLM\SOFTWARE\Microsoft\Jet\4.0\Engines\xBase или HKLM\SOFTWARE\Microsoft\Office\14.0\Access Connectivity Engine\Engines\Xbase или, соответственно, HKLM\SOFTWARE\Wow6432Node\Microsoft\Jet\4.0\Engines\xBase или HKLM\SOFTWARE\Wow6432Node\Microsoft\Office\14.0\Access Connectivity Engine\Engines\Xbase в зависимости от того, был ли установлен на машину Office и если да, то как. По умолчанию, свойство действительно имеет значение OEM, что заставляет драйвер читать все dbfы из расчета этой кодировки. Если изменить его на ANSI

Рис.12

кириллица в ANSIшном dbf'e, естественно, будет читаться по-человечески:

Рис.13

Перезапускаться при этом, к счастью, не требуется, однако визард импорта следует закрыть и повторить по-новой с Рис.1.

Жмем ОК, Next, заканчиваем визард, в результате чего неявно создается и выполняется SSIS-пакет:

Рис.14

и получаем фигню. Гы!

Рис.15

Это, на самом деле, тоже понятно, почему. В таблице Query под результаты импорта визард создал поле region типа varchar(200) без явного указания коллации. Следовательно, для него по умолчанию используется коллация базы. Так получилось, что база Database1 имела нерусскую коллацию:

Рис.16

Чтобы исправить ситуацию, надо сделать поле region юникодовским или откорректировать ему коллацию. Кстати, давайте ему еще длину увеличим. Так, на всякий случай.

Рис.17

Сохраняем изменения структуры, очищаем данные truncate table Query и повторяем импорт Рис.1-14

Рис.18

Теперь все импортируется нормально. Единственно, я сказал "очищаем данные", но у себя это сделать забыл, и на картинке они задвоились. Переделывать уже не буду, потому что непринципиально. Смысл понятен.

Алексей Шуленин

Синхронизация SQL Serverных баз через Облако

isvrus — Sat, 12 May 2012 14:48:00 GMT

В прошлом посте мы использовали SQL Azure Data Sync для синхронизации между настольной Northwind1 и облачной Northwind1_Azure базами данных, которые были включены в Sync Group по имени "группа захвата". Базы данных безоблачных экземпляров в пределах одной машины взаимодействуют со службой синхронизации данных через клиентского агента. Это сделано по соображениям безопасности, чтобы исключить взаимодействие с сервисом напрямую, к тому же базы могут (и должны) прятаться за файрволом. Единственно, что мне не нравится, это предупреждение, что срок действия агента истекает:

Рис.1

Если перейти в левой панели на агента, получается более развернутое сообщение:

Рис.2

Ссылка в сообщении указывает на http://www.microsoft.com/en-us/download/details.aspx?id=27693. Это странно. С того же места я его ставил пару дней назад, и номер версии (4.0.5.0) с тех пор не изменился. Тем не менее как дисциплинированный пользователь я расстался со старым проверенным агентом Смитом. Предварительно нужно разрегистрировать все зарегистрированные на нем (см. Рис.17 предыдущего поста) локальные базы:

Рис.3

Чтобы изменения отразились на портале Windows Azure Platform, следует нажать Refresh в верхнем меню:

Рис.4

Тогда Northwind пропадает из-под агента в левом дереве, и агента можно прикончить с помощью кнопки Remove из того же меню:

Рис.5

После чего по-новой запустил установку агента с приведенной ссылки, повторив шаги Рис.6 - 18 предыдущего поста. Смит1 установился, освоился и выкинул желтый треугольник совершенно аналогично (см.Рис.1) своему безвременно погибшему предшественнику. Что-то здесь не то, догадался я, и обратился к авторам этой замечательной проги. Ответили в том ключе, что сейчас агента менять не нужно, потому что нового они еще не доделали, а ссылка должна вести на страницу, разъясняющую что новый сервис (тот, который выйдет в июньском обновлении) будет несовместим со старой версией агента, но почему-то не ведет. Большое мне спасибо, что я это заметил. Высказав со своей стороны теплые слова в адрес аффторов, я забил на вопли агента и двинулся дальше.

Дальше нам предстоит добавить в существующую группу синхронизации еще одну настольную базу, которая будет синхронизироваться с первой настольной, а облачная будет играть роль посредника, или хаба. Если воспользоваться традиционными для такого рода примеров обозначениями, взятыми из повести Пушкина "Дубровский", то первая настольная база Northwind1 будет играть роль Маши, облачная база Northwind1_Azure - дупла, и еще нужно создать вторую настольную базу на роль Дубровского. Идем в ту же группу синхронизации, видим иконку, на которой написано Click to add a SQL Server database, и, натурально, кликаем:

Рис.6

Далее по накатанной дорожке, как проходили в предыдущем посте:

Рис.7

По бедности у меня сейчас нет под рукой второй машины. Есть второй экземпляр SQL Server по имени POWERPIVOT на той же самой. На нем живут SharePoint, PowerPivot, Power View, все дела, и я еще создам пустую базу Northwind1_Pivot. Это будет Дубровский. Если бы экземпляры находились на разных машинах, на вторую тоже бы следовало установить Sync Agent, а в пределах одной я не уверен, что их может быть несколько. В FAQ говорится: Q: How many instances of the local agent UI can be run? - A. Only one instance of the UI can be run. Но то про юзер интерфейс. На всякий случай решил проверить. Выбираю Install a new Agent вместо использовать существующий:

Рис.8

Установку агента мы проходили в прошлом посте, и я в порядке закрепления дополнительно прошел ее уже в этом, поведясь на предупреждение, что старый истекает, поэтому описывать процесс установки еще раз не буду. Все, как обычно:

Рис.9

Рис.10

за исключением вот этого:

Рис.11

Понятно, чем она недовольна. На Рис.10 внизу можно видеть, что окно относится к агенту Смит1, для которого ключ уже введен. Если бы можно было как-нибудь изменить в окне Рис.11 привязку к агенту Смит1 (Рис.7) на Бонд (Рис.9), но как? Если сейчас запустить инсталляцию бинарников агента, сетап обнаружит, что таковой уже стоит, и спросит: Repair? Uninstall? Похоже, все-таки нельзя иметь двух агентов на одной машине, но для очистки совести я еще спросил у авторов и получил окончательный ответ: One local sync agent is allowed in one box. You can register several databases you want in one local sync agent. Значит, в данном случае так и поступим. За все будет отвечать агент Смит1.

Возвращаемся на Рис.8 и выбираем Through an existing Agent:

Рис.12

Аналогично Рис.17 предыдущего поста задаем строку соединения с новой настольной базой и регистрируем базу на агенте:

Рис.13

Теперь на агенте зарегистрировано 2 настольных базы: Northwind1 (старая) и Northwind1_Pivot (новая).

Рис.14

Добавляю новую базу в старую группу синхронизации. Чтобы она показалась в комбобоксе STEP 3 Select database, на STEP 2 справа надо нажать кнопку Get Database List. Теперь ее можно выбрать:

Рис.15

В результате конфигурация синхронизации приобретает следующий вид:

Рис.16

После нажатия кнопки Deploy в верхнем меню (чтобы сохранить сделанные изменения на сервере синхронизации) вся эта байда приходит в движение. Точнее, не вся. Поскольку данные между Машей и дуплом еще с прошлого поста находятся в согласии, шуршат только дупло и Дубровский:

Рис.17

и, пошуршав, успокаиваются. Статус Synchronizing в верхней строке сменяется на Good:

Рис.18

Схемы и данные из дупла (Northwind1_Azure) передались на Дубровского (Northwind1_Pivot). Со своей стороны, Дубровский пробует в них что-то изменить:

Рис.19

Смотрим по журналу, что сейчас произойдет с его изменениями:

Рис.20

Как можно видеть из журнала, в 10:28:08 3 изменения с Дубровского были положены в дупло. Узнать конкретно, что это были за изменения, из журнала в текущей версии нельзя. Здесь человек увидел в журнале, что столько-то failed и спросил, а как посмотреть, какие именно гавкнулись? Был дан ответ, что в настоящий момент никак, но this will be fixed in the near future and the failing rows will be identified with the PKs. For now, you will have to do a data diff between the source and destination DBs and identify the differences.

Рис.21

Действительно, мы их сейчас видим в Northwind1_Azure:

Рис.22

Проходит еще один 5-минутный интервал, заданный в расписании (Рис.21 предыдущего поста), и изменения Дубровского из дупла получает Маша:

Рис.23

которая, в свою очередь, тоже вносит какие-то изменения. На некоторое время здесь пришлось отвлечься и застопить сервис агента синхронизации Microsoft SQL Azure Data Sync (в интервале 10:31 -10:46) для наглядности, чтобы не переполнять журнал событиями. После внесения изменений запущен вновь.

Рис.24

Изменения своим чередом отправляются в дупло:

Рис.25

На Дубровском в этот момент пока ничего нового:

Рис.26

Эти изменения дойдут до него через 5 мин. в следующую итерацию.

Можно пока посмотреть, как срабатывают триггеры Sync Framework в дупле:

Рис.27

и что в действительности выполняется в промежуточной базе:

Рис.28

Но вот проходят томительные 5 минут ожидания:

Рис.29

и Дубровский забирает, наконец, из дупла весточку от Маши - запись с CategoryID = 9 удаляется. Молодец!

Рис.30

Мы рассмотрели простейший пример дуплексной синхронизации двух баз данных, расположенных на традиционных SQL Serverах, через SQL Azure. К преимуществу такого сценария можно отнести гибкость - экземпляры SQL Server не обязаны видеть друг друга в пределах одной локальной сети или VPN. Все, что им требуется, это выход в Интернет. Ну и доступ к Облаку, само собой. Недостаток вытекает из ограничений облачной базы, которая выступает в роли концентратора. Поскольку на пути от одного SQL Server к другому данные оседают в облачной базе, они должны удовлетворять ограничениям SQL Azure.

Алексей Шуленин

SQL Azure. Синхронизация данных с on-premise SQL Server. Data Sync

isvrus — Wed, 09 May 2012 14:41:00 GMT

Содержание предыдущей серии

Настроить репликацию между облачной базой данных и базой на on-premise (безоблачном) SQL Server нельзя, потому что SQL Azure ее не поддерживает. Как вариант, можно написать приложение с использованием Microsoft Sync Framework, которое будет отслеживать изменения на одном конце и применять их на другом и наоборот. Такое приложение под названием SQL Azure Data Sync было написано в виде Web-сервиса и размещено во всех облачных датацентрах. Оно умеет реплицировать данные между облачными БД на серверах SQL Azure, между SQL Azure и обычным SQL Server или через SQL Azure между обычными SQL Serverами, не связанными друг с другом никакими VPNами. Репликация происходит по схеме hub-spokes, т.е. изменения, произошедшие на одном луче звезды, поступают в центр, который распространяет их во все остальные концы, входящие в ту же группу синхронизации, что и тот, где случились изменения. В роли ступицы, т.е. дистрибутора, выступает БД SQL Azure.

Заходим на Windows Azure Management Portal - см. пост "SQL Azure. Создание сервера"\Рис.1. В данном случае нас интересует секция Data Sync слева внизу под Database:

Рис.1

Согласно теме нынешнего поста выбираем в центральной части экрана прямоугольник Sync between On-Premise and SQL Azure Databases. В данном примере мы рассмотрим репликацию, хотя в строгом смысле это не есть передача транзакций, а, скорее, отражение изменений, между базой данных на обычном SQL Server и в Облаке, т.е. сервер SQL Azure будет не только дистрибутором, но и издателем /подписчиком. Предлагается указать подписку (здесь уже имеется в виду не подписка в смысле репликации, а подписка на Azure), под которую будет заготовлен сервер синхронизации. На момент написания данной статьи в одной облачной подписке можно создавать не более одного сервера синхронизации.

Рис.2

На нем создается группа синхронизации. Под группой синхронизации понимается, условно говоря, подписка, т.е. группа баз на издателе и подписчике, хотя мы рассмотрим двунаправленную репликацию, т.е. подписчик может быть, в свою очередь, издателем, между которыми будут синхронизироваться статьи, если опять же говорить в терминах репликации, т.е. вертикально-горизонтально порезанные таблицы. Открывается визард настройки синхронизации. В отличие от традиционного визарда, представляющего собой череду сменяющих друг друга экранов, здесь теперь все по-новому и заточено под Metro-style интерфейс. Экран темнеет, и на каждом шаге вспыхивают плитки в разных частях экрана, в которые нужно быстро тыкнуть. Я бы еще для развития реакции сделал, чтобы место вспыхивания i-го шага случайно менялось при повторном прохождении визарда. На планшетниках плитка должна биться током, если не сразу на нее кликнул. Сила тока зависит от сложности прохождения. Чт��-то я увлекся. На первом уровне задаем название группы синхронизации. Еще сразу горит кусок экрана с конфигурацией, хотя по-хорошему заполнять его предстоит на 4-м шаге. Наверное, бонус. Можно заполнить сейчас - без разницы. Под конфигурацией понимается период проведения сеансов связи на предмет синхронизации, а также reconciliation - за кем остается правда, если оба поменяли одну и ту же запись в одной и той же таблице.

Рис.3

Первый уровень пройден. На втором предстоит задать базу данных на необлачном SQL Server, который будет участвовать в синхронизации. Каждая база данных в текущей версии SQL Azure Data Sync может входить не более, чем в 5 групп синхронизации. В пределах одной группы синхронизации можно создать не более 30 спиц (облачных и необлачных баз данных, обменивающихся между собою информацией), из них необлачных не более 5. Кликаем на обведенную овалом иконку:

Рис.4

Говорим, что это будет новый SQL Server, т.е. в конфигурируемой группе синхронизации он еще не отмечен, и мы предполагаем, что синхронизация будет идти в обоих направлениях: как от SQL Server в Облако, так и обратно:

Рис.5

На необлачный (on premise - в помещении) SQL Server необходимо установить специального агента синхронизации с Облаком, либо воспользоваться уже установленным, но т.к. до этого агент не ставился, то устанавливаем:

Рис.6

Будет предложено его поставить из традиционных Microsoft Downloads

Рис.7

конкретно - с http://www.microsoft.com/en-us/download/details.aspx?id=27693. Я думаю, что никто не будет его скачивать, все будут сразу запускать, т.к. весит он немного - 7.2 МБ, а на машине, которую мы собираемся синхронизировать с Облаком, интернет должен, по определению, быть.

Рис.8

Установка проходит без особых эксцессов

Рис.9

Здесь задается учетная запись, под которой будет работать сервис агента синхронизации (Рис.13). Она должна иметь права на выход в Интернет и Log On as a Service (Administrative Tools -> Local Security Policy -> Local Policies -> User Rights Assignment). В разделе Data Security написано, что service log-in credentials supplied during the client agent install do not have to be admin credentials. По-видимому, имеется в виду локальный админ. Его она действительно не воспринимает. Доменный администратор проходит:

Рис.10

Рис.11

Рис.12

В ходе сетапа устанавливаются конфигурационный клиент Microsoft SQL Azure Data Sync Preview (C:\Program Files (x86)\Microsoft SQL Azure Data Sync\bin\SqlAzureDataSyncAgent.exe) и сервис агента синхронизации Microsoft SQL Azure Data Sync (C:\Program Files (x86)\Microsoft SQL Azure Data Sync\bin\LocalAgentHost.exe), стартуемый под учетной записью Рис.10:

Рис.13

Возвращаемся к Рис.7. Даем агенту агентурную кличку и ключ, чтобы он смог зарегистрироваться на сервере Data Sync, заготовленном на Рис.2. После нажатия кнопки Generate Agent Key сгенерированный ключ появится внизу Рис.13, а рядом будет заботливая кнопочка Copy. Скопируем ключ, т.к. его предстоит предъявить на Рис.15

Рис.14

после чего запускаем клиента:

Рис.15

и регистриpуем его на сервере Data Sync (Рис.2) при помощи ключа, выданного на Рис.14:

Рис.16

В конфигурации агента должна быть прописана строка соединения с обычным SQL Server, базу которого мы начали определять для участия в группе синхронизации Рис.5. В нашем примере это будет Northwind1, созданная в предыдущем посте. В случае выбора Windows-аутентификации учетная запись сервиса агента синхронизации Microsoft SQL Azure Data Sync (Рис.10) должна иметь доступ к БД настольного SQL Server, которую предполагается синхронизовать в Облако.

Рис.17

Служба синхронизации обеспечивает шифрование (Encrypted Data) всех конфиденциальных хранящихся в ней данных, в том числе:

• учетные данные пользователя базы данных SQL Azure

• учетные данные пользователя базы данных SQL Server

• файл конфигурации клиентского агента Data Sync

• учетные данные самой службы Data Sync для system storage в Windows Azure.

Жмем кнопку Register слева вверху, чтобы дать понять агенту, какую базу мы собираемся синхронизировать. Покидаем клиентское приложение и возвращаемся к продолжению Рис.5. Кнопка Get Database List на Step 2 наполняет комбобокс Step 3 списком баз, зарегистрированных на агенте по имени Смит (мы дали ему такое имя на Рис.14). Из этого списка выбираем соединение Рис.17

Рис.18

и выходим на следующий уровень. Здесь миссия - задать облачную БД, которая будет выступать в роли дистрибутора:

Рис.19

Предварительно на облачном SQL Server fxv4koqar4 я создал пустую базу по имени Northwind1_Azure. Прописываем строку соединения с ней в мастере синхронизации:

Рис.20

На 4-м уровне с нас спрашивается частота синхронизаций и правило разрешения конфликтов. Мы его прошли еще на Рис.3.

Рис.21

На 5-м уровне предстоит создать статьи репликации. Здесь это называется Sync Dataset:

Рис.22

У нас имеются две базы данных: Northwind1 на локальном SQL Server и пустая Northwind1_Azure в облачном. Для начала мы хотим наполнить Northwind1_Azure, т.е. Northwind1 выступает в качестве источника. Говорим это мастеру синхронизации в верхнем комбобоксе. По нажатию кнопки Get Latest Schema слева отображается список таблиц; при навигации от таблицы к таблице - справа список полей текущей таблицы. В одной группе cинхронизации может участвовать не более 100 таблиц, каждая из которых может иметь не более 1000 полей. Для того или иного поля можно отметить чекбокс Filter. Тогда внизу нарисуется заготовка под условие where по этому полю. Операторы ограничиваются >, <, = и их комбинациями. Например, like еще не домыслили.

Рис.23

Кнопка ОК сейчас недоступна, потому что у фильтра пустое поле Value. Мы не будем использовать горизонтальное нарезание таблиц (как и вертикальное). Убираем галку фильтра и жмем ставшую доступной ОК.

На 6-м уровне остается нажать кнопку Deploy, чтобы загрузить на сервер Data Sync конфигурацию группы синхронизации

Рис.24

и готово. Экран радостно светлеет, Status: Provisioning в зеленой строке сменяется на Synchronizing и наконец Good:

Рис.25

Говорит, что синхронизация успешно произошла. Сейчас мы поглядим, какой это Сухов. Во-первых, на портале Windows Azure в секции Data Sync имеется просмотр журналов синхронизации - пункт меню Log Viewer, либо слева выбрать соответствующий пункт из участников синхронизации и справа кликнуть View Log. Три нижние строчки в журнале - это перенос в Облако 3-х выбранных на Рис.22 таблиц, но пока я это писал, прошло 5 заданных на Рис.20 минут, проснулся агент Смит, проверил, есть ли для него работа, и снова заснул:

Рис.26

Убеждаемся, что все 3 заказанные таблицы появились в облачной базе и наполнились данными:

Рис.27

Мы уже знаем, что все соединения с SQL Azure в обязательном порядке шифруются. Синхронизация не является исключением. Во избежание перехвата данных в процессе синхронизации сервис SQL Azure Data Sync шифрует все соединения (Encrypted Connections) между компонентами, в том числе:

• соединение между службой и системной БД в SQL Azure

• соединение между службой и system storage в Windows Azure

• соединения между всеми компонентами облачного сервиса

• соединение между клиентским агентом и облачным сервисом

• соединение между порталом Windows Azure Platform и облачным сервисом.

Проверяем, что в обратную сторону синхронизация тоже работает. Поменяем в Облаке какие-нибудь данные:

Рис.28

и не позже, чем через 5 мин. эти изменения отразятся в настольной базе Northwind1. Пока что можно обратить внимание, что структуры таблиц Northwind1 переехали в Облако вместе с ограничениями, поэтому delete from Categories where CategoryID = 6 не получится по причине The DELETE statement conflicted with the REFERENCE constraint "FK_Products_Categories". Однако SQL Azure Data Sync не копирует структуру исходной базы в назначение один в один. Cоздаются только отмеченные на Рис.23 таблицы, а в них только те поля, что были отмечены там же. Если по этим полям в источнике имелись индексы, они будут созданы в назначении, за исключением индексов по полям типа XML. Также не переносятся ограничения типа CHECK, триггеры, представления и хранимые процедуры - см. Data Sync FAQ, "Does Data Sync fully create and provision tables?": Because of these limitations we recommend that for production environments you provision the full fidelity schema yourself and not depend on the schema provisioned by Data Sync. The auto provisioning feature of Data Sync works well for trying out the service.

Если впоследствии схема какой-либо из участвующих в синхронизации таблиц, поменяется и эти изменения захочется тоже синхронизировать, единственный способ - пересоздать группу синхронизации (Рис.2, 3, ...) - см. Data Sync FAQ, "Q: I just changed my schema. How do I get the change into my sync group?"

Кроме отмеченных на Рис.23 таблиц, образовались служебные таблицы схемы DataSync в обеих базах. Вот, как выглядит таблица DataSync.Categories_dss_tracking после внесения изменений Рис.27. Здесь приводятся не все колонки, но и без того что-то это до боли напоминает. Раскрываем таблицу dbo.Categories, смотрим ее триггеры. Правильно, так и есть: Categories_dss_delete_trigger, Categories_dss_insert_trigger, Categories_dss_update_trigger. Это действительно Sync Framework для версий, ранее 2008-го, потому что Change Tracking в SQL Azure не поддерживается. В связи с тем, что при создании синхронизации вносятся изменения в структуры баз, It is highly recommended that you test SQL Azure Data Sync on a non-production database to ensure that it does not have an adverse effect on your existing applications - Data Sync FAQ, "Q: Will SQL Azure Data Sync make changes to my database?"

CategoryID	update_scope_local_id	scope_update_peer_timestamp	local_update_peer_timestamp	scope_create_peer_timestamp	local_create_peer_timestamp	sync_row_is_tombstone	last_change_datetime
1	NULL	4002	925	4002	9	0	09-05-12 09:33:58
2	1	4003	8	4002	8	0	09-05-12 09:15:15
3	1	4004	7	4002	7	0	09-05-12 09:15:15
4	1	4005	6	4002	6	0	09-05-12 09:15:15
5	1	4006	5	4002	5	0	09-05-12 09:15:15
6	1	4007	4	4002	4	0	09-05-12 09:15:15
7	1	4008	3	4002	3	0	09-05-12 09:15:15
8	1	4009	2	4002	2	0	09-05-12 09:15:15
9	NULL	NULL	926	NULL	926	0	09-05-12 09:33:58

Табл.1

Тем временем можно уже смотреть, что получилось в настольной БД Northwind1:

Рис.29

Мы видим, что сделанные изменения доставились в таблицу Northwind.dbo.Categories (записи №№1, 9). Удручает, правда, то, что вместо кириллицы нарисовались знаки вопроса. Домашнее задание: вернитесь на Рис.28 и повторите вставку, чтобы русские буквы все-таки отобразились нормально.

Ограничения текущей версии, такие, как количество издателей/подписчиков в группе синхронизации, количество таблиц, колонок и т.д., я старался проговаривать по ходу повествования. На всякий случай напомню, что все они перечислены в Data Sync FAQ. Существенным ограничением, про которое я до сих пор не упомянул, выступает отсутствие программных интерфейсов - The SQL Azure Data Sync Service has no publicly available API as of the current release - т.е. заскриптовать проделанное на вышеприведенных картинках в настоящий момент нельзя. При необходимости программного доступа пока рекомендуется использовать Sync Framework - по сути, написать свой собственный SQL Azure Data Sync.

Алексей Шуленин

SQL Azure. Синхронизация данных с on-premise SQL Server. BACPAC

isvrus — Sun, 06 May 2012 13:03:00 GMT

Вместо того, чтобы сначала переносить схему, а затем заливать в нее данные, миграцию базы можно выполнить в один прием. Как уже говорилось в предыдущем посте, в DAC 2.0 появилась возможность экспорта/импорта (Export/Import), которая в отличие от извлечения/развертывания (Extract/Deploy) позволяет перетаскивать между SQL Serverами (включая SQL Azure) не только схему базы, но и содержащиеся в ней данные.

Вернемся на Рис.1 предыдущего поста и вместо Extract Data-tier application скажем Export Data-tier application.

Рис.1

Рис.2

Рис.3

С точки зрения миграции на SQL Azure экспорт визарда ведет себя интеллектуальней, чем экстракт. Он проверяет экспортируемые объекты на соответствие ограничениям SQL Azure. С другой стороны, эти проверки нельзя отключить, если база переносится не в Облако, а между двумя инстансами обычного SQL Server. Еще одно неудобство в том, что он не позволяет вернуться к предыдущему экрану. Приходится начинать сначала. На Рис.2 я замечаю закладку Advanced

Рис.4

и по наивности полагаю, что если раскликать таблицы, вызвавшие у него недовольство на Рис.3, он оставит их в покое и успешно перенесет остальные. Не тут-то было. Снова возникает та же самая ошибка Рис.3, хотя визард экспорта отдает себе отчет в том, что таблицы, на которые он ругается, выбраны не были:

Рис.5

Самое время почитать документацию: Export a Data-tier Application, How to: Export a Data-tier Application (SQL Azure) - а она, зараза, молчит, как рыба об лед. To specify a subset of tables to export, use the Advanced option. Год назад на вопрос Can these magical bacpac files only include a whole database, or can I just transfer a single table? человеку ответили At this time, the import/export services will retrieve the entire database. We will be adding support for selective exports prior to the final release. Ну, молодцы, - подумал я, - хорошо добавили. И оказался неправ, ибо сие есть не баг, но фича. The resultant BACPAC will contain the full schema definition plus the table data only for the specified tables (с) DAC Guy. Таким образом, галки на Рис.4 отмечают те таблицы, для которых будут перенесены данные, но структуры таблиц она будет переносить (и проверять) тупо все.

Не желая корежить многострадальную Northwind на локальном SQL Server, я создам ее копию (backup/restore) под именем Northwind1, откуда удалю таблицы, которые не устраивают SQL Azure и, соответственно, мастер экспорта (Рис.3) по причине отсутствия кластерного ключа. Повторяем процесс экспорта Рис.1-2 для БД Northwind1, и на этот раз он завершается успешно. Устаревшие типы (n)text и image не вызывают у SQL Azure оторжения, как и у SQL Server 2012, хотя здесь сказано, что Common database objects that are not supported in a DAC include: Objects marked for deprecation... BOL в очередной раз предупреждают, что их планируется похоронить, поэтому в новых приложениях надо использовать (n)varchar(max) и varbinary(max), а старые переписывать.

Рис.6

Полученный файл по умолчанию имеет расширение bacpac (в отличие dacpac в результате операции извлечения схемы). Читается как бакпак, а не васрас. Глубинный смысл буквы b, по-видимому, призван символизировать bulk copy или backup. Поскольку в SQL Azure отсутствует возможность классического BACKUP/RESTORE, функциональность bacpac можно отчасти рассматривать как разновидность создания резервной копии облачной базы. Отчасти, потому что это просто снимок состояния схемы + данных без учета находящихся в процессе транзакций, т.е. транзакционная целостность, как в случае классического бэкапа, здесь не поддерживается. Как и dacpac, bacpac-файл представляет собой архив, только в контекстное меню для этого расширения в оболочку не регистрируется пункт Unpack (см. Рис.3 предыдущего поста). Его просто можно открыть архиватором.

Рис.7

Помимо структуры базы в файле model.xml, аналогичного Рис.6 предыдущего поста за вычетом удаленных таблиц Region, CustomerCustomerDemo, CustomerDemographics, EmployeeTerritories, Territories, в архиве bacpac хранятся данные - см. папку Data. Она состоит из подпапок по одной на каждую из отмеченных на Рис.4 таблиц. Каждая папка имеет табличные данные в формате JSON (JavaScript Object Notation) и файлы с расширением .bin, соответствующие бинарным ячейкам. В данном случае таблица Employees имеет поле Photo типа image и 9 записей, поэтому на Рис.8 наблюдается 9 bin-файлов.

Рис.8

Для импорта bacpac на другой сервер следует подобно Рис.7 предыдущего поста пойти в SSMS -> Object Explorer -> Databases, вызвать контекстное меню, только выбрать не Deploy Data-tier Application, как в прошлый раз, а Import Data-tier Application.

Рис.9

Рис.10

Рис.11

Рис.12

Рис.13

База успешно создается на сервере SQL Azure, на основе model.xml (Рис.7) в составе bacpac выполняются скрипты создания объектов, из json- и bin-файлов (Рис.8) в созданные таблицы заливаются данные. Таким образом, в отличие от dacpac, который переносит только метаданные и таблицы после деплоймента остаются пустые (см. Рис.13 предыдущего поста), операция экспорта/импорта Data-tier application переносит как схемы объектов БД, так и сами данные:

Рис.14

Примечания.

· Dacpac можно открыть в SSDT, поработать с базой, а потом применить сделанные изменения на сервере, сказав базе upgrade - см.Рис.16 - 23 предыдущего поста. Bacpac так делать не умеет - BACPAC Import operations are limited to new or empty databases. Апгрейд-визард не воспринимает bacpac и настойчиво требует dacpac:

Рис.15

· Если база, которую мы собираемся импортировать из bacpac на SQL Server, существует, выдается очень витиеватое сообщение:

Рис.16

· Как мы проходили в посте Работа с базой из портала, SQL Azure не сиюминутно реагирует на изменения, сделанные с базой, что позволило нам ее "перегреть", выйдя за отведенные ей лимиты. Прошло несколько минут, прежде чем он прочухался и стал ругаться. Потом пришлось еще несколько минут подождать, пока он сообразил, что лишние данные удалены и размер базы вернулся в законопослушные рамки. Точно так же до него не сразу доходит drop database. Если сразу после удаления БД сделать импорт bacpac с тем же именем базы, получится ошибка Рис.16.

· Из Рис.2 можно видеть, что экспортить в bacpac можно не только на диск, но и в Blob service в Windows Azure Storage Service. Рис.11 - соответственно, импорт. Чтобы воспользоваться эти альтернативным местоположением, должен иметься storage account, как описано здесь. Импорт/экспорт облачной базы можно делать не только в SSMS, но и непосредственно из Azure Management Portal

Рис.17

· У меня не получилось сделать экспорт со стороны SQL Azure по той же причине, что и сгенерировать из SSMS скрипты объектов облачной базы:

Рис.18

Тенденция однако. Extract (dacpac) из SQL Azure работает нормально.

Нам осталось разобрать еще одну возможность переноса - Deploy Database to SQL Azure - см. Рис.1 предыдущего поста. Она использует только что рассмотренный bacpac. Вместо того, чтобы сначала экспортировать базу в bacpac, а потом импортировать его на Azure, здесь вызывается экспорт и сразу за ним незамедлительный импорт:

Рис.19

Рис.20

Рис.21

В завершение сжато в виде шпаргалки повторим сказанное.

DACPAC - схема базы. Получается в SSMS -> Object Explorer как БД -> Tasks -> Extract Data-tier Application. Обратное действие: Databases -> Deploy Data-tier Application.

Dacpac можно открывать в SSDT: новый SQL Server Database Project -> Solution Explorer -> проект -> Import -> Data-tier Application (*.dacpac). Обратное действие - проект -> Snapshot Project.

Поддерживается in-place upgrade сделанных изменений в базу на SQL Server (SQL Azure): БД -> Tasks -> Upgrade Data-tier Application, подсунуть модифицированный dacpac.

BACPAC - схема вместе с данными. БД -> Tasks -> Export Data-tier Application. Обратное действие: Databases -> Import Data-tier Application. Апгрейд базы не поддерживается.

Deploy Database to SQL Azure - экспорт и импорт в одном флаконе.

Все это вместе называется словом DAC. Описанные действия можно выполнять программно с помощью библиотеки DAC Fx. DAC ориентирован на перенос в SQL Azure небольших по объему и несложных по логике баз. Он имеет ограничения при работе с Service Broker, зеркалированием, лог шиппингом и некоторой другой не поддерживаемой в SQL Azure функциональностью.

Продолжение следует.

Алексей Шуленин

SQL Azure. Синхронизация данных с on-premise SQL Server. DACPAC

isvrus — Fri, 04 May 2012 12:41:00 GMT

Содержание предыдущей серии.

Если база данных достаточно проста, то вместо раздельного переноса объектов схемы, организации заливки данных из таблицы в таблицу, было бы эффективней иметь механизм, позволяющий перенести разом всю базу, с данными или без. Такой механизм дебютировал в SQL Server 2008R2 под названием Data-tier applications. Он позволяет упаковывать структуры всех поддерживаемых им объектов базы в самодостаточный архивный файл DACPAC - Data-tier application component package - сродни msi или манифесту. Технология DAC - некое брендовое обозначение применительно ко всем составляющим ее понятиям: DACPAC, BACPAC, DAC Fx. Наверное,
DAC - не слишком удачная аббревиатура, потому что все уже привыкли, что это dedicated admin connection. С другой стороны, DTA тоже занято под database tuning advisor. Ну да бог с ними, с названиями. Data-tier application - это способ представить базу в виде приложения. DACPAC можно затем импортировать в датабазный проект Visual Studio или развернуть на другом SQL Server или сервере SQL Azure, получив копию исходной базы. Приложения DACPAC интегрируются с Utility Control Point и позволяют устанавливать в себя политики Policy-based Management Framework, но этих возможностей в рамках данного поста мы касаться не будем.

В SSMS в контекстном меню БД можно видеть относящиеся к DAC пункты, которые позволят мигрировать ее в SQL Azure. Перенесем в Облако какую-нибудь простенькую базу, например, бессмертный Northwind.

Рис.1

Выбираем первый пункт секции - Extract Data-tier application. Визард подключается к базе данных, считывает ее объекты и их свойства и создает в памяти модель БД. Подобно тому, как определенные объекты проверяются в процессе сборки сборки, так и здесь происходит проверка на согласованность (если какое-нибудь представление ссылается на несуществующую таблицу, произойдет ошибка, как и в случае Т-SQL) и самодостаточность (все ссылки и зависимости не выходят за пределы текущей базы). Не дозволенные в SQL Azure или не поддерживаемые в in-memory модели DAC объекты блокируются. После валидации построенная в памяти модели DACPAC записывается на диск. Диалог спрашивает полное имя dacpac-файла, в который будет извлечена структура базы:

Рис.2

Процесс проходит успешно, и в указанном месте в назначенное время появляется заказанный файл, который действительно представляет собой архив, который можно распаковать и посмотреть, что там внутри творится.

Рис.3

Рис.4

Основным содержанием являются файлы model.sql и model.xml. Первый есть обычный DDL-скрипт создания объектов, проживающих в БД Northwind:

Рис.5

Второй - его XMLное представление в формате, понимаемом DAC Framework (DAC Fx). 1-я версия Data-tier Application Framework была выпущена с SQL Server 2008R2. В промежутке между ним и SQL Server 2012 (примерно с СТР3) вышла DAC Fx 2.0. Была добавлена поддержка геопространственных типов, упаковкa в архив не только схемы, но и самих данных (import/export) и некоторые другие возможности. Наиболее заметным новшеством стал in-place upgrade. Ранее применялся подход side-by-side. Чтобы доставить изменения на SQL Server, создавалась новая база с временным именем, в которой генерировались объекты из DACPAC, переливались данные из старой базы, старая база дропалась, новая переименовывалась в старую. Это требовало в два раза больше места на сервере и делало бесполезным T-Log. С помощью компоненты ScriptDom теперь генерируются скрипты, которые с учетом версии SQL Server стараются по максимуму обойтись командой ALTER для обновления схемы. Мы увидим in-place upgrade далее на Рис.18-23. C SQL Server 2012 RTM поставляется версия DAC Fx 3.0. Физически это Microsoft.SqlServer.Dac.dll (пространства имен Microsoft.SqlServer.Dac и Microsoft.SqlServer.Dac.Extensions). Отдельно можно скачать в составе Microsoft®SQL Server® 2012 Feature Pack (см. MICROSOFT SQL SERVER 2012 MANAGABILITY FEATURE PACK COMPONENTS, Microsoft® SQL Server® 2012 Data-Tier Application Framework).

Рис.6

Описание формата можно найти здесь - [MS-DACPAC]: Data-Tier Application Schema File Format Structure Specification.

Полученный файл без проблем развертывается на сервере SQL Azure.

Рис.7

Рис.8

Рис.9

Рис.10

Скажите Databases -> Refresh облачному SQL Server и откройте новообразовавшуюся базу Northwind. Обратите внимание, что некоторые таблицы в БД Northwind были кучами, и в таком же виде они переехали в Облако.

Рис.11

Это неудивительно. SQL Azure не запрещает создание таблиц без кластерного ключа:

Рис.12

поэтому Northwind.dacpac благополучно продеплоился на облачный SQL Server (Рис.10). Он даже позволяет из них читать (кстати, видно, что таблицы Northwind пусты, т.е. перенеслись только метаданные), однако при попытке вставить запись мы получим ошибку с жалобой на отсутствие кластерного ключа:

Рис.13

Для исправления ситуации в исходной (on-premise) Northwind я вместо SSMS воспользуюсь SQL Server Data Tools, чтобы заодно проиллюстрировать работу с DAC в датабазных проектах Visual Studio. Открываем SSDT, создаем новый проект типа SQL Server Database Project, который для ясности назовем Northwind:

Рис.14

В Solution Explorer в контекстном меню проекта выбираем Import -> Data-tier Application (*.dacpac)...

Рис.15

и указываем экстрактнутый (см. Рис.1-2) с локального SQL Server файл c:\Temp\Northwind.dacpac. Проект наполняется объектами базы Northwind. Я исправлю индекс на кластерный в таблице Region, а остальные 4 кучи (CustomerCustomerDemo, CustomerDemographics, EmployeeTerritories, Territories) просто поудаляю в Solution Explorer.

Рис.16

Теперь в контекстном меню проекта (см.Рис.15) выбираю 2-й пункт - Snapshot Project - и в папке проекта (...\Northwind\Snapshots, а также в ...\Northwind\bin\Debug) образуются дакпаки, запечатлевшие текущее состояние проекта:

Рис.17

Возвращаемся к облачному варианту Northwind и выбираем из контекстного меню базы Tasks -> Upgrade Data-tier application, чтобы отразить изменения, сделанные в Northwind в SSDT (Рис.16):

Рис.18

Рис.19

Визард предупреждает, что некоторые изменения были сделаны в базу, минуя DAC, и если сейчас его применить, они потеряются. Разве я что-то правил в облачной Northwind напрямую? Ей виднее. При регистрации БД в качестве DAC-приложения (а регистрация автоматически происходит во время деплоймента) в msdb создаются служебные таблицы sysdac_instances_internal, в которой учитываются базы, отмеченные как DAC-приложения, и sysdac_history_internal, в которой ведется история изменений. В SQL Azure они находятся в БД master, т.к. msdb там нет. Апгрейд визард смотрит varbinary(max)-поле type_stream, в котором лежит последний dacpac для данного приложения = базы данных = строки в таблице sysdac_instances_internal, строит в памяти модель для текущего состояния этой базы и, если они различаются, выдает предупреждение Рис.20.

Как бы то ни было, отмечаю галку Proceed despite possible loss of changes. Кнопка Next становится доступной. Двигаемся дальше.

Рис.20

Визард может самостоятельно откатиться к состоянию базы до апгрейда при возникновении ошибки. Неотмеченный чекбокс Rollback on failure означает, что мы сами должны будем выходить из этой ситуации, если вдруг она случится. Предполагается, что у нас есть на этот случай бэкап, поэтому галку сознательно не ставим.

Рис.21

Визард обнаружил исчезновение из базы некоторых таблиц, а также соответствющих им ограничений внешнего ключа и беспокоится о потере данных. Отмечаем галку Proceed despite possible data loss и жмем ставшую доступной кнопку Next.

Рис.22

Апгрейд происходит успешно:

Рис.23

Мы видим, что структура базы пришла в соответствие с правками, внесенными в SSDT (Рис.16). 4 таблицы удалились, а таблица Region из кучи превратилась в дерево, поэтому SQL Azure больше не ругается на отсутствие кластерного ключа и дает с ней нормально работать:

Рис.24

Теперь, когда объекты целевой базы на стороне SQL Azure созданы, для закачки данных можно использовать любой из способов, рассмотренных в двух предыдущих постах.

Продолжение следует.

Алексей Шуленин

SQL Azure. Синхронизация данных с on-premise SQL Server. SSIS

isvrus — Thu, 03 May 2012 12:44:00 GMT

Хотя функциональность SQL Azure имеет большую долю пересечения с привычным SQL Server, тождественный знак равенства между ними поставить нельзя. Например, все таблицы облачной базы обязаны иметь кластерный ключ. В Облаке можно размазывать базу по федерации SQL Serverов, но, с другой стороны, в нем не поддерживаются партиционирование, сжатие, файлстрим, FTS, TDE, CDC, CLR (я знаю еще много умных аббревиатур). Поэтому перенос схемы данных в Облако (и обратно) есть преимущественно ручной процесс подобно тому, как мы это проделывали в предыдущем посте: получили DDL-скрипт создания таблицы, доработали его напильником, выполнили, создав таблицу в БД SQL Azure, и залили в нее данные при помощи bcp. После того, как вопрос со схемами решен, данные льются отлично. Что туда, что обратно. Конечно, хотелось бы иметь какую-нибудь полуавтоматическую тулу наподобие Migration Assistant, которая бы ускоряла процесс переноса схем за счет рекомендаций и подсказок. Например, эй, мужик, в этой таблице у тебя отсутствует кластерный индекс. Ты уж создай, будь добр, а то ведь она не перенесется. Или вот это поле у тебя объявлено как типизированный XML, который в SQL Azure не поддерживается. Мы с ним что делаем: вычеркиваем из списка колонок, отмеченных к переносу, или отбрасываем у него namespace? Как-то так. Возможно, со временем такой интеллектуальный подсказчик появится в составе штатного комплекта SQL Server/SQL Azure.

После того, как схемы на обоих концах (SQL Azure и on-premise SQL Server) приведены к согласию, между ними можно воткнуть любой шланг для перекачки данных. В предыдущем посте в качестве шланга использовался bcp. В этом для разнообразия воспользуемся SSIS, для чего открываем SSDT (я же говорил про умные аббревиатуры) и заводим новый проект на основе шаблона Integration Services Project:

Рис.1

Перетаскиваем слева из SSIS Toolbox задачу Data Flow Task на рабочую поверхность пакета. Это будет шланг.

Рис.2

Один конец шланга нужно подключить к источнику данных, другой - к назначению. Для источника и назначения нужно создать соединения. Кликаем правой кнопкой на среднюю панель, которая называется Connection Managers (на ней написано Right-click here to add a new connection manager to the SSIS package). Говорим, что это будет New ADO.NET Connection. В открывшемся окне Configure ADO.NET Connection Manager кликаем на кнопку New, чтобы создать новое соединение.

Рис.3

Открывается привычное окно, где нужно выбрать провайдера, имя сервера, БД и т.д. Источником данных, как и в предыдущем примере, будет выступать таблица Production.Product в БД AdventureWorks2012, расположенной на локальном SQL Server, экземпляре по умолчанию:

Рис.4

Нажмите ОК и еще раз ОК. Аналогично создаем соединение к SQL Azure - для назначения. Оно будет тянуться к облачному SQL Server по имени fxv4koqar4, база TestDB, таблица dbo.Product. Мы с ней работали в прошлом посте. Это соединение понадобится нам впоследствии еще в одной задаче, поэтому не след хардкодить строку соединения в Connection Manager. По этой причине сохраните строку соединения в переменной пакета. Это единственная причина, т.к. соединения, переменные, вообще теоретически все засвеченные свойства задач можно задавать при запуске пакета через dtexec/dtexecui.

Встаньте на панель свойств (по умолчанию - справа внизу) свежесозданного Connection Manager.

Рис.5

При необходимости окно свойств соединения, подобное Рис.4, можно снова вызвать, кликнув на троеточие справа от значения свойства ConnectionString.

Скопируйте строку значения свойства ConnectionString.

Теперь создайте переменную пакета. Нажмите на пункт SSIS в верхней строке меню SSDT, из распахнувшегося pop-up меню выберите пункт Variables. Перед вами откроется окно с переменными пакета или докнутая панель Variables посредине внизу. Предварительно уйдите из панели свойств. Встаньте хотя бы на Connection Manager, иначе пункта Variables в меню не будет.

Рис.6

Кликните на значок создания новой переменной. Назовите ее, скажем, DstCnn. Задайте ей тип String, в качестве значения вставьте скопированную строку соединения. Свойство Application Name в строке соединения можно опустить, а свойство Password нужно добавить: Data Source=fxv4koqar4.database.windows.net;User ID=alexejs;Password=Tiwanaku;Initial Catalog=TestDB.

Рис.7

Вернитесь в панель Properties для Connection Manager (Рис.5). Встаньте на свойство Expressions. Кликните кнопку с троеточием, появившуюся справа в строке свойства. В открывшемся окне Property Expressions Editor встаньте на первую ячейку в колонке Property, распахните комбобокс и выберите ConnectionString из списка. Нажмите справа на троеточие справа от колонки Expression в той же строке таблицы. Откроется окно Expression Builder. Раскройте строчку Variables and Parameters, нажав на плюсик слева. Перетащите созданную на Рис.7 переменную User::SrcCnn (по умолчанию все переменные, для которых при создании не оговаривалось пространство имен, получают пространство имен User) в текстбокс Expression ниже. Нажмите ОК. Свойство ConnectionString у Connection Manager по имени localhost.AdventureWorks2012 стало равняться переменной @[User::DstCnn], значение которой (см.Рис.7) - это строка Data Source=fxv4koqar4.database.windows.net;User ID=alexejs;Password=Tiwanaku;Initial Catalog=TestDB. Можете теперь убрать это значение из свойства ConnectionString в панели свойств, где оно было задано явно в результате Рис.4, сделав его для ясности пустой строкой.

Рис.8

Отлично. Переходим в Data Flow Task, кликнув по ней два раза или кликнув на закладку Data Flow вверху рабочей поверхности дизайнера пакета, и перетаскиваем в нее из левого тулбокса ADO.NET Source и ADO.NET Destination.

Рис.9

Дважды кликаем по ADO.NET Source и в открывшемся окне редактора задаем созданное на Рис.4 соединение localhost.AdventureWorks2012, в качестве Data access mode - что это будет таблица, а не SQL-запрос и в Name of the table or the view выбираем из комбобокса таблицу Production.Product.

Рис.10

Зацепляем торчащую из прямоугольника с надписью ADO.NET Source синюю стрелку (Рис.9) и тащим ее в прямоугольник ADO.NET Destination, чтобы она в него уперлась. Дважды кликаем по прямоугольнику ADO.NET Destination. Устанавливаем для него соединение аналогично Рис.10, только в качестве Connection Manager здесь будет использоваться, понятно, соединение назначения - fxv4koqar4.database.windows.net.TestDB.alexejs. В панели слева редактора ADO.NET Destination Editor выбираем пункт Mappings и при необходимости корректируем, какие поля источника переносятся в какие поля таблицы-назначения. Здесь она самостоятельно определила парные поля в источнике и назначении и протянула между ними стрелочки, а также что в таблице-назначении отсутствует поле rowguid и его никуда копировать не нужно. Молодец.

Рис.11

Осталось нанести последний штрих - очистку таблицы-назначения перед заливкой в нее данных из источника. Для этого переходим на закладку Control Flow и добавляем перед задачей Data Flow Task задачу Execute T-SQL Statement, также перетаскивая ее из SSIS Toolbox. Зацепляем торчащую из нее зеленую стрелочку и протягиваем к Data Flow Task, задавая таким образом последовательность выполнения. Дважды кликаем по прямоугольнику Execute T-SQL Statement Task. В качестве T-SQL statement задаем оператор очистки truncate table dbo.Product. В качестве соединения кликаем кнопку New.

Рис.12

Задаем свойства соединения, на котором должна выполняться эта команда, потому что без этого нас отсюда не выпустят:

Рис.13

Теперь ровно так же, как мы действовали на Рис.8, открываем Expressions в свойствах новосозданного Connection Manager aaa и устанавливаем для него ConnectionString равной переменной пакета @[User::DstCnn]. Ради этого она и создавалась. Поскольку ConnectionString в нашем случае является одинаковой для ADO NET Destination и Execute T-SQL Statement Task, грамотнее его не хардкодить и там, и там, а брать из одного места.

Собственно, все. Запускаем (F5) пакет на выполнение, он успешно выполняется:

Рис.14

и мы видим, что в облачную таблицу TestDB.dbo.Product перенеслось 504 записи из on-premise таблицы AdventureWorks2012.Production.Product:

Рис.15

Перекачка данных в обратном направлении предоставляется читателям в качестве самостоятельного упражнения.

Продолжение следует.

Алексей Шуленин

SQL Azure. Синхронизация данных с on-premise SQL Server. BCP

isvrus — Tue, 01 May 2012 18:32:00 GMT

Содержание предыдущей серии

До сих пор в этой серии постов рассматривалась автономная работа c облачной базой данных. Однако SQL Azure (в нынешнем виде) появилась на свет спустя почти 22 года после первой версии обычного SQL Server, который за это время успел распространиться необычайно широко и сделаться одной из наиболее популярных СУБД. Поэтому когда вы проникнитесь идеей Облака (а вы никуда от этого не денетесь), вы, скорее всего, не будете создавать базу SQL Azure с нуля, а станете наполнять ее на основе данных, хранящихся в традиционных on-premise базах. Как уже говорилось, одним из преимуществ облака выступает эластичность - возможность быстрого привлечения вычислительных ресурсов, а также оплата по факту потребления, что означает, что нам не нужно покупать дорогущий сервак, который будет использоваться неделю в году, пока бухгалтерия будет этот год закрывать. Очевидный сценарий - обойтись более скромным оборудованием, которого достаточно 95% времени в году. В остальные 5% загрузить обезличенные данные в SQL Azure (трафик туда - бесплатный), посчитать (стоимость SQL Azure не зависит от потраченного процессорного времени - только от размера базы) и вернуть результаты счета. Имеет смысл. Чтобы его реализовать, надо научиться передавать данные (и схемы данных) между SQL Azure и on-premise SQL Server. Нет ничего проще. Выпишите на бумажке известные вам способы синхронизировать экземпляры человеческого SQL Server. Вычеркните из них то, что не поддерживается SQL Azure. Оставшиеся мы тут же коротенечко рассмотрим.

Синхронизация не на уровне баз, а на уровне экземпляров SQL Server обеспечивается при помощи компонента Windows Server Failover Clustering. Кластеризацию смело вычеркиваем.

Синхронизация на уровне отдельных баз с минимальным временем задержки достигается при помощи зеркалирования. Вычеркиваем.

По этой же причине вычеркиваем новую прогрессивную функциональность, обеспечивающую зеркалирование в несколько реплик на уровне группы баз, появившуюся в SQL Server 2012 под названием Always On.

Лог шиппинг - аналогично.

В принципе, резервное копирование/восстановление можно тоже рассматривать как некоторую кондовую синхронизацию базы - забэкапили в одном месте, подняли в другом. Логично? Логично, вычеркиваем. Команды BACKUP/RESTORE в SQL Azure не поддерживаются.

Вышеперечисленные способы были не столько синхронизацией, сколько средством обеспечения отказоустойчивости, позволяя подстелить соломку на случай, если рабочая база неожиданно навернулась. В SQL Azure в них нет необходимости, т.к. отказоустойчивость по определению обеспечивается компонентом SQL Azure Fabric, который автоматически изготавливает и поддерживает реплики баз.

Кстати, о репликах. В привычной жизни привычным способом обмена данными между привычными SQL Serverами является репликация. При помощи BCP на подписчике создается начальный снимок данных издателя, на который затем применяются изменения из журнала транзакций издателя. Логично? Вычеркиваем. Репликация тоже не поддерживается в SQL Azure. Вместо репликации для облачных баз применяется утилита SQL Azure Data Sync на основе Microsoft Sync Framework, но о ней в следующий раз.

Кстати, о BCP. А вот это попробуйте (с). Возьмем какую-нибудь несложную табличку из модельной базы AdventureWorks2012, например, Production.Product и перенесем ее при помощи утилиты командной строки Bulk Copy в какую-нибудь БД на сервере SQL Azure, например, TestDB, созданную в одном из предыдущих упражнений. Берем таблицу Product, находящуюся в схеме Production базы данных AdventureWorks2012 на локальном SQL Server (localhost), c которым устанавливаем доверительное (-Т) соединение на основе Windows-аутентификации, и экспор��ируем (out) ее в текстовый файл, используя символы Юникода (-w):

bcp AdventureWorks2012.Production.Product out c:\Temp\AdventureWorks2012.Production.Product.dat -Slocalhost -T -w

Рис.1

В соответствии с документацией практикой хорошего тона является тут же сделать файл формата, описывающий результаты экспорта, т.к. AdventureWorks2012.Production.Product.dat не включает сведения о схеме. При удалении таблицы восстановить ее структуру будет проблематично, если отсутствует файл форматирования. Следующая команда изготавливает форматный файл в виде XML, подобный тому, с которым мы работали в посте BULK INSERT юникодного файла.

bcp AdventureWorks2012.Production.Product format nul -Slocalhost -T -w -x -f c:\Temp\Product_fmt.xml

<?xml version="1.0"?>

</RECORD>

<ROW>

</ROW>

</BCPFORMAT>

Скрипт 1

Oсталось импортировать AdventureWorks2012.Production.Product.dat на SQL Azure. К сожалению, несмотря на наличие такого замечательного форматного файла ни bcp, ни BULK INSERT не умеют создавать на его основе таблицу. Они умеют только заливать на его основе в нее данные. Таблица должна быть как-либо создана перед этим:

bcp TempDB..Product in c:\Temp\AdventureWorks2012.Production.Product.dat -Slocalhost -T -f c:\Temp\Product_fmt.xml

Рис.2

Создать в облачной базе таблицу идентичной структуры проще всего с помощью SSMS. В Object Explorer можно получить код создания объекта из его контекстного меню

Рис.3

либо сразу нескольких объектов из контекстного меню базы данных:

Рис.4

Рис.5

В принципе, вместе со схемой таблицы можно заскриптовать и содержащиеся в ней данные. Если на следующем экране визарда

Рис.6

нажать кнопку Advanced, видно, что опция Types of data to script выставлена в Schema only

Рис.7

но при желании можно сказать, чтобы скриптовались данные или структура вместе с данными:

Рис.8

Таблица заскриптовалась как традиционный оператор CREATE TABLE (в опциях Рис.7 можно предварить его DROP), данные - как INSERT каждой строки таблицы. Остается соединиться с БД SQL Azure, как показывалось в одном из предыдущих постов

Рис.9

слегка подкорректировать автосгенеренный скрипт: заменить пользовательский тип dbo.Name в поле Name на nvarchar(50), а тип dbo.Flag - на bit, несуществующую в TestDB схему Production - на, допустим, dbo; убрать команду USE, поле [rowguid] [uniqueidentifier] ROWGUIDCOL NOT NULL, настройку индекса WITH (PAD_INDEX = OFF ...), файл-группы как неподдерживаемые в SQL Azure. Кое-что из этого можно пометить в опциях Рис.7, например, поставить Script USE DATABASE = false. Модифицированный скрипт выполняется на сервере SQL Azure:

CREATE TABLE dbo.[Product](

[ProductID] [int] IDENTITY(1,1) NOT NULL,

[Name] nvarchar(50) NOT NULL,

[ProductNumber] [nvarchar](25) NOT NULL,

[MakeFlag] bit NOT NULL,

[FinishedGoodsFlag] bit NOT NULL,

[Color] [nvarchar](15) NULL,

[SafetyStockLevel] [smallint] NOT NULL,

[ReorderPoint] [smallint] NOT NULL,

[StandardCost] [money] NOT NULL,

[ListPrice] [money] NOT NULL,

[Size] [nvarchar](5) NULL,

[SizeUnitMeasureCode] [nchar](3) NULL,

[WeightUnitMeasureCode] [nchar](3) NULL,

[Weight] [decimal](8, 2) NULL,

[DaysToManufacture] [int] NOT NULL,

[ProductLine] [nchar](2) NULL,

[Class] [nchar](2) NULL,

[Style] [nchar](2) NULL,

[ProductSubcategoryID] [int] NULL,

[ProductModelID] [int] NULL,

[SellStartDate] [datetime] NOT NULL,

[SellEndDate] [datetime] NULL,

[DiscontinuedDate] [datetime] NULL,

[ModifiedDate] [datetime] NOT NULL,

CONSTRAINT [PK_Product_ProductID] PRIMARY KEY CLUSTERED ([ProductID] ASC)

)

Рис.10

Выполнять вставку дан��ых таким образом можно, но не нужно - получается слишком накладно вставлять каждую запись таблицы по отдельности. Лучше генерировать только скрипт создания структуры таблицы без данных (Рис.7) c последующей адаптацией под особенности SQL Azure. Заливку данных производить методом массированного копирования (bcp), которым мы уже начали было пользоваться. Препятствием выступило отсутствие таблицы-приемника в назначении. Теперь такая таблица есть. Нужно изменить файл данных (Рис.1) и форматный файл (Скрипт 1) в соответствии с адаптированной к SQL Azure структурой таблицы. В данном случае из нее выпало поле rowguid, т.к. признак ROWGUIDCOL не поддерживается в SQL Azure. Выборку остальных полей записываем в виде запроса

select [ProductID], [Name], [ProductNumber], [MakeFlag], [FinishedGoodsFlag], [Color], [SafetyStockLevel], [ReorderPoint], [StandardCost], [ListPrice], [Size], [SizeUnitMeasureCode], [WeightUnitMeasureCode], [Weight], [DaysToManufacture], [ProductLine], [Class], [Style], [ProductSubcategoryID], [ProductModelID], [SellStartDate], [SellEndDate], [DiscontinuedDate], [ModifiedDate] from [Production].[Product]

Скрипт 2

и выполняем его аналогично Рис.1:

declare @qry varchar(8000) = 'select [ProductID], [Name], [ProductNumber], [MakeFlag], [FinishedGoodsFlag], [Color], [SafetyStockLevel], [ReorderPoint], [StandardCost], [ListPrice], [Size], [SizeUnitMeasureCode], [WeightUnitMeasureCode], [Weight], [DaysToManufacture], [ProductLine], [Class], [Style], [ProductSubcategoryID], [ProductModelID], [SellStartDate], [SellEndDate], [DiscontinuedDate], [ModifiedDate] from [Production].[Product]'

declare @cmd varchar(8000) = 'bcp "' + @qry + '" queryout c:\Temp\AdventureWorks2012.Production.Product.dat -Slocalhost -T -dAdventureWorks2012 -w'

exec xp_cmdshell @cmd

Рис.11

Изменить подобным образом (Скрипт 1) форматный файл не удастся, потому что создание форматного файла возможно только когда bcp делается из таблицы, а не из запроса: A valid table name is required for in, out, or format options. Поэтому в XML Скрипт 1 просто руками удаляем строки

<FIELD ID="24" xsi:type="NCharTerm" TERMINATOR="\t\0" MAX_LENGTH="74"/> и <COLUMN SOURCE="24" NAME="rowguid" xsi:type="SQLUNIQUEID"/>. 25-й номер поля можно не менять.

Выполняем импорт:

bcp TestDB.dbo.Product in c:\Temp\AdventureWorks2012.Production.Product.dat -Sfxv4koqar4.database.windows.net -Ualexejs -PTiwanaku -f c:\Temp\Product_fmt.xml

Рис.12

Говорит, что все 504 записи из таблицы Product успешно переехали в ее облачную копию. Проверяем. Открываем SQL Server Data Tools. Меню Data -> Data Compare -> New Data Comparison.

Рис.13

Создаем два соединения: одно с локальным SQL Server, БД AdventureWorks2012; другое - с БД TestDB в SQL Azure, как это делалось в SSMS.

Рис.14

Ну, извините. Остается визуальный контроль, согласно которому все перенеслось, вроде, правильно.

Что касается обратного направления: из SQL Azure в on-premise SQL Server, попытка заскриптовать таблицу из SSMS аналогично Рис.3-7 на SQL Azure завершается ошибкой Microsoft.SqlServer.Management.Sdk.Sfc.InvalidVersionEnumeratorException: Operation not supported on version 11.0. Сам процесс массированного импорта из SQL Azure работает нормально

bcp TestDB.dbo.Product out c:\Temp\AdventureWorks2012.Production.Product.dat -Sfxv4koqar4.database.windows.net -Ualexejs -PTiwanaku -w

Рис.15

Продолжение следует.

Алексей Шуленин

SQL Rally

isvrus — Mon, 02 Apr 2012 09:19:00 GMT

19 апреля 2012 года в Москве, в конференц-центре Цифровой Октябрь по адресу Берсеневская набережная, 6 пройдет SQLRally Russia 2012 – конференция PASS (Professional Association for SQL Server) сообщества в России, где участники могут узнать новости о продукте SQL Server, а также встретиться с Microsoft MVP и другими участниками сообщества.

Программа обещает быть насыщенной и интересной. Я бы, например, на вашем месте непременно сходил послушать доклад Новое в T-SQL для SQL Server 2012, но послушать у меня не получится, потому что я его читаю. Вы не подумайте, что я вас из-за этого на него приглашаю – это чистое совпадение. Будет много хороших докладов - http://technet.microsoft.com/ru-ru/sqlserver/hh913506. На той же странице, кстати, будет организована онлайн-трансляция для тех, кто не сможет туда добраться. Что делать тем, кто не сможет добраться оттуда, в данном случае не рассматриваем, потому что фуршета со увеселительными напитками, насколько я знаю, не планируется. Тем не менее до встречи.

Запуск SQL Server 2012 в Москве

isvrus — Wed, 21 Mar 2012 22:09:00 GMT

SQL SERVER

SYMPOSIUM

3 АПРЕЛЯ. МОСКВА.

РЭДИССОН УКРАИНА

Здравствуйте !

Компания Microsoft приглашает вас посетить крупнейшее мероприятие, посвященное выходу новой версии самого популярного продукта для управления базами данных и бизнес-аналитикой:

Здесь вы сможете более подробно узнать о том, как новейший функционал SQL Server и приложений, разработанных на нем, позволяет решать широкий круг бизнес-задач для различных компаний.

Вашему вниманию будет представлена стратегия Microsoft по развитию платформы приложений; обзор основных трендов в этой области от ведущих аналитиков; доклады глобальных партнеров Microsoft, разрабатывающих аппаратное обеспечение и бизнес-приложения; истории успешных внедрений от ключевых партнеров и клиентов компании Microsoft.

Мероприятие будет проводиться 3 апреля 2012 г. в отеле Редиссон Украина, г.Москва. Участие в мероприятии бесплатное.

Программа мероприятия

9:30 - 10:00 Регистрация, приветственный кофе

10:00 - 10:15 Приветственное слово - Eugene Saburi, директор продуктовой группы SQL Server

10:15 - 11:15 Стратегия Microsoft в развитии платформы приложений, Eugene Saburi, директор продуктовой группы SQL Server; Nick King, руководитель группы маркетинга SQL Server 2012

11:15 - 11:30 Перерыв

11:30 - 12:00 Основные тренды в области развития бизнес-систем и платформы данных (Gartner, Accenture)

12:00 - 12:30 Аппаратные решения для построения платформы работы с данными (Hewlett Packard)

12:30 - 13:00 Приложения, необходимые для вашего бизнеса (SAP)

13:00 - 14:00 Обед

14:00 - 14:40 Обзор ключевого функционала SQL Server 2012 (Microsoft)

14:40 - 15:00 Перерыв

15:00 - 16:30 Успешные проекты и решения на базе SQL Server 2012 (компании Связной, Балтика, Digia)

16:30 - 18:00 Завершение мероприятия и развлекательная программа

Вы можете зарегистрироваться на участие в мероприятии, нажав на ссылку ниже

НАЖМИТЕ ЗДЕСЬ, ЧТОБЫ ЗАРЕГИСТРИРОВАТЬСЯ

Мероприятие будет проходить 3 апреля 2012 г.

в гостинице Украина (Radisson Ukraina) по адресу г. Москва, Кутузовский просп., 2/1

Будем рады видеть вас на нашем мероприятии !

Выпущен SQL Server 2012

isvrus — Wed, 07 Mar 2012 06:04:00 GMT

Вчера, 6 марта 2012 г. запущен в производство Microsoft SQL Server 2012.

Интеграция SharePoint 2010 c SQL Server 2012. Часть 2

isvrus — Sun, 04 Mar 2012 08:27:00 GMT

Краткое содержание предыдущей серии.

При установке SharePoint Server 2010 Enterprise в режиме фермы невозможно с ходу разместить его служебные базы на SQL Server 2012, т.к. во время их конфигурации вызывается хранимая процедура sp_dboption, которая больше не поддерживается.

Существуют две возможности обойти это ограничение. Можно поставить рядом SQL Server 2008 (R2), на котором создать служебные базы шаропойнтовской фермы. В моем случае хватило бы бесплатного SQL Server 2008 R2 Express х64 с SP1 (117.5 МБ), полагая, что больше 10 гигов служебные шаропойнтовские базы не разрастутся. Я проверил эту возможность, т.к. были опасения, что 2008 R2 что-нибудь не поделит с 2012: все-таки более позднюю версию спокойнее ставить сверху. Опасения не подтвердились, все работает. На экране Feature Selection при установке Express не нужно отмечать репликацию, SQL Client Connectivity SDK, достаточно отметить Database Engine Services. В остальном установка происходит по умолчанию. Теперь базы SharePoint_Config и SharePoint_AdminContent (см. Скрипт 2 предыдущего поста) нужно пересоздать на новом экземпляре:

Рис.1

и выполнить по отношению к SQL Server 2008 R2 Скрипт 3 предыдущего поста:

C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN>psconfig.exe -cmd configdb -create -server w7x64_Denali\SQLEXPRESS -database SharePoint_Config -dbuser sa -dbpassword Tiwanaku -admincontentdatabase SharePoint_AdminContent -user w7x64_Denali\Administrator -password Tenōchtitlan -passphrase P@ssW0rd

Скрипт 1

Однако больший интерес представляет вторая возможность - отсервиспачить шаропойнт и заставить его создать свои базы на SQL Server 2012, как первоначально и планировалось. Для этого нужно снять галку на Рис.11 предыдущего поста, до выполнения процесса конфигурирования шаропойнтовской фермы скачать и установить SharePoint 2010 Service Pack 1:

Рис.2

В процессе установки неоднократно выдавалось сообщение Мicrosoft SharePoint Foundation administration tool (STSADM.exe) has stopped working, но завершилось благополучно.

Рис.3

После чего обычно рекомендуется выполнить команду psconfig.exe -cmd upgrade -inplace b2b -wait, где b2b - ключ, применяемый при накатке патчей (напр., обновление SPS2010 RTM до SPS2010 SP1) в отличие от v2v, когда происходит обновление версий (напр., MOSS 2007 to SPS2010) - Patching SharePoint is a two-step process. The updated binaries are first installed and then psconfig must be run to update the SharePoint databases. Однако никаких баз в данном случае нет - после установки сервис-пака я их создаю вручную на SQL Server 2012 RC0, который называется w7x86_Denali, см. Скрипт 2 предыдущего поста -

use master

if exists (select 1 from sys.databases where name = 'SharePoint_Config') begin

alter database SharePoint_Config set single_user with rollback immediate

drop database SharePoint_Config

end

create database SharePoint_Config collate Latin1_General_CI_AS_KS_WS

if exists (select 1 from sys.databases where name = 'SharePoint_AdminContent') begin

alter database SharePoint_AdminContent set single_user with rollback immediate

drop database SharePoint_AdminContent

end

create database SharePoint_AdminContent collate Latin1_General_CI_AS_KS_WS

Скрипт 2

после чего выполняю Скрипт 3 (там же):

cd C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN

psconfig.exe -cmd configdb -create -server w7x64_Denali -database SharePoint_Config -dbuser sa -dbpassword Tiwanaku -admincontentdatabase SharePoint_AdminContent -user w7x64_Denali\Administrator -password Tenōchtitlan -passphrase P@ssW0rd

Скрипт 3

Рис.4

Превосходно! Мы видим, что сервис-пак подействовал - psconfig больше не ругается на процедуру sp_dboption. Он ругается на An exception of type System.IO.FileNotFoundException was thrown. Additional exception information: Could not load file or assembly 'Microsoft.IdentityModel, Version=3.5.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35' or one of its dependencies. The system cannot find the file specified. Ну это ж замечательно! Эта ошибка понятно, почему. Она происходит из-за того, что не установлен необходимый компонент Windows Identity Foundation. Если бы SharePoint 2010 ставился на Windows Server 2008 (R2), этот компонент установился бы при предварительной инсталляции пререквизитов, но файл PrerequisiteInstaller.exe не желает запускаться на Windows 7, поэтому пререквизиты приходится устанавливать вручную. Идем по адресу http://www.microsoft.com/download/en/details.aspx?id=17331, скачиваем Windows6.1-KB974405-x64.msu и запускаем:

Рис.5

Снова пробуем Скрипт 3 - и на этот раз ему не нравится, что во время прошлого запуска он уже успел что-то насовать в базу, а по условию она должны быть девственно чиста: The database name located at the specified database server contains user-defined data. Databases must be empty before they can be used. Delete all of the tables, stored procedures, and other objects, or use a different database.

Пересоздаем базы - Скрипт 2, повторяем Скрипт 3. Снова Failed to create the configuration database.

An exception of type Microsoft.SharePoint.Upgrade.SPUpgradeException was thrown. Additional exception information: Failed to call GetTypes on assembly Microsoft.Office.Server.Search, Version=14.0.0.0, Culture=neutral, PublicKeyToken=71e9bce111e9429c. Could not load file or assembly 'System.Web.DataVisualization, Version=3.5.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35' or one of its dependencies. The system cannot find the file specified. Это ему не достает еще одного пререквизита - Microsoft Chart Controls for Microsoft .NET Framework 3.5, который берется по адресу http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=14422, файл MSChart.exe. Скачиваем, запускаем.

Рис.6

Дальше по накатанной дорожке - Скрипт 2, за ним Скрипт 3, он задумывается... и завершается успешно. Просто ему надоело кочевряжиться.

Рис.7

Таким образом, удалось обойти ограничение мастера конфигурации на недопустимость локальной учетной записи. Ферма SharePoint 2010 была создана без необходимости поднятия домен-контроллера. Чтобы довести до конца процесс ее настройки, запускаем мастер (Start -> All Programs -> Microsoft SharePoint 2010 Products -> SharePoint 2010 Products Configuration Wizard или psconfigui.exe в той же директории C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN, что и psconfig.exe), т.е. продолжаем процесс Рис.12-15 предыдущего поста:

Рис.8

Мы видим, что ферма действительно успешно создалась Скриптом 3, и нам остается завершить процесс конфигурирования SharePoint Central Administration:

Рис.9

Рис.10

Рис.11

Рис.12

Рис.13

Рис.14

Итак, было решено три практических задачи: установка SharePoint Server 2010 (SP1) Enterprise на Windows 7 Ultimate x64 (SP1); установка фермы SharePoint Server 2010 под локальной учетной записью и размещение баз SharePoint Server 2010 SP1 на SQL Server 2012. Следует еще раз отметить, что первые две могут рассматриваться с точки зрения построения разработческого, но не производственного окружения. Кроме того, некоторые сервисы (например, PowerPivot для SharePoint) в процессе установки не довольствуются локальной учетной записью, т.к. требуют настоящего доменного эккаунта, и, следовательно, откажутся вставать на подобную конфигурацию.

Алексей Шуленин

Интеграция SharePoint 2010 c SQL Server 2012. Часть 1

isvrus — Sat, 03 Mar 2012 17:15:00 GMT

В данной теме будут разобраны три вопроса:

• Установка SharePoint Server 2010 (SP1) Enterprise на Windows 7 Ultimate x64 (SP1)

• Установка фермы SharePoint Server 2010 без необходимости привлечения контроллера домена

• Размещение баз SharePoint Server 2010 SP1 на SQL Server 2012:

Первоначально предполагалось, что следующим шагом станет установка на основе собранной конфигурации новой функциональности SQL Server 2012 в виде Power View - интерактивный инструмент отчетности с богатыми возможностями визуализации, ориентированный на непосредственных бизнес-пользователей - однако с официальным выходом SQL Server 2012 стало официально ясно, что Windows 7 официально не поддерживается в качестве серверной части для Power View, поэтому вопросы его развертывания будут рассмотрены отдельно.

Перед установкой Sharepoint потребуется включить некоторые компоненты Windows:

Рис.1

Рис.2

Полный список доступных на Windows 7 компонентов можно посмотреть при помощи

dism /online /get-features:

Рис.3

а также включить/отключить компоненты. Например, dism /online /disable-feature /FeatureName:"More Games"

Рис.4

На Windows Server 2008 R2 вместо dism можно использовать утилиту ServerManagerCmd.exe -query или командлет Get-WindowsFeature в PowerShell. Установку/удаление компонент можно также проводить с помощью утилиты командной строки pkgmgr или ocsetup, которая является оберткой вокруг нее и msiexec.

Следующий батник включает компоненты Windows 7, необходимые для установки Sharepoint 2010:

rem в Windows Server соотв-т Server Roles -> Application Server

rem Microsoft .NET Framework 3.5.1

dism /online /enable-feature /FeatureName:NetFx3

dism /online /enable-feature /FeatureName:WCF-HTTP-Activation

dism /online /enable-feature /FeatureName:WCF-NonHTTP-Activation

rem Windows Process Activation Service

dism /online /enable-feature /FeatureName:WAS-WindowsActivationService

dism /online /enable-feature /FeatureName:WAS-NetFxEnvironment

dism /online /enable-feature /FeatureName:WAS-ConfigurationAPI

dism /online /enable-feature /FeatureName:WAS-ProcessModel

rem в Windows Server соотв-т Server Roles -> Web Server (IIS)

dism /online /enable-feature /FeatureName:IIS-WebServerRole

dism /online /enable-feature /FeatureName:IIS-WebServer

rem Internet Information Services -> World Wide Web Services -> Application Development Features

dism /online /enable-feature /FeatureName:IIS-ApplicationDevelopment

dism /online /enable-feature /FeatureName:IIS-NetFxExtensibility

rem dism /online /enable-feature /FeatureName:IIS-ASP

dism /online /enable-feature /FeatureName:IIS-ASPNET

rem dism /online /enable-feature /FeatureName:IIS-IIS-CGI

dism /online /enable-feature /FeatureName:IIS-ISAPIExtensions

dism /online /enable-feature /FeatureName:IIS-ISAPIFilter

rem dism /online /enable-feature /FeatureName:IIS-ServerSideIncludes

rem Internet Information Services -> World Wide Web Services -> Common HTTP Features

dism /online /enable-feature /FeatureName:IIS-CommonHttpFeatures

dism /online /enable-feature /FeatureName:IIS-DefaultDocument

dism /online /enable-feature /FeatureName:IIS-DirectoryBrowsing

dism /online /enable-feature /FeatureName:IIS-HttpErrors

rem dism /online /enable-feature /FeatureName:IIS-HttpRedirect

dism /online /enable-feature /FeatureName:IIS-StaticContent

rem Internet Information Services -> World Wide Web Services -> Health and Diagnostics

dism /online /enable-feature /FeatureName:IIS-HealthAndDiagnostics

rem dism /online /enable-feature /FeatureName:IIS-CustomLogging

dism /online /enable-feature /FeatureName:IIS-HttpLogging

dism /online /enable-feature /FeatureName:IIS-LoggingLibraries

dism /online /enable-feature /FeatureName:IIS-RequestMonitor

dism /online /enable-feature /FeatureName:IIS-HttpTracing

rem Internet Information Services -> World Wide Web Services -> Performance Features

dism /online /enable-feature /FeatureName:IIS-Performance

dism /online /enable-feature /FeatureName:IIS-HttpCompressionDynamic

dism /online /enable-feature /FeatureName:IIS-HttpCompressionStatic

rem Internet Information Services -> World Wide Web Services -> Security

dism /online /enable-feature /FeatureName:IIS-Security

dism /online /enable-feature /FeatureName:IIS-BasicAuthentication

rem dism /online /enable-feature /FeatureName:IIS-ClientCertificateMappingAuthentication

dism /online /enable-feature /FeatureName:IIS-DigestAuthentication

rem dism /online /enable-feature /FeatureName:IIS-IISCertificateMappingAuthentication

rem dism /online /enable-feature /FeatureName:IIS-IPSecurity

dism /online /enable-feature /FeatureName:IIS-RequestFiltering

rem dism /online /enable-feature /FeatureName:IIS-URLAuthorization

dism /online /enable-feature /FeatureName:IIS-WindowsAuthentication

rem Internet Information Services -> World Wide Web Services -> Web Management Tools

dism /online /enable-feature /FeatureName:IIS-WebServerManagementTools

dism /online /enable-feature /FeatureName:IIS-ManagementConsole

rem dism /online /enable-feature /FeatureName:IIS-ManagementScriptingTools

rem dism /online /enable-feature /FeatureName:IIS-ManagementService

rem Internet Information Services -> World Wide Web Services -> Web Management Tools -> IIS 6 Management Compatibility

dism /online /enable-feature /FeatureName:IIS-IIS6ManagementCompatibility

rem dism /online /enable-feature /FeatureName:IIS-LegacySnapIn

rem dism /online /enable-feature /FeatureName:IIS-LegacyScripts

dism /online /enable-feature /FeatureName:IIS-WMICompatibility

dism /online /enable-feature /FeatureName:IIS-Metabase

pause

Скрипт 1

Между компонентами существуют зависимости, например, WCF-HTTP-Activation не встанет раньше WAS-ConfigurationAPI: Error: 50 The operation completed but WCF-HTTP-Activation feature was not enabled. Ensure that the following parent feature(s) are enabled first. If they are already enabled, refer to the log file for further diagnostics. WAS-ConfigurationAPI. Я старался расположить включение компонент в том порядке, чтобы зависимые компоненты включались позже тех, от которых они зависят. Если где-нибудь этот порядок по невнимательности соблюсти не удалось, Скрипт 1 следует запустить повторно.

В соответствии со стандартным порядком инсталляции Sharepoint Server 2010 для установки пререквизитов нужно запустить находящийся в корне дистрибутива файл PrerequisiteInstaller.exe, который на Windows 7 тут же завершается по причине Error: This tool supports Windows Server version 6 and version 6.1, как пишется в логе об ошибке. Короче, в случае Windows 7 пререквизиты ставятся ручками. Запускаем находящийся там же Setup.exe и получаем ошибку:

Рис.5

Необходимо включить в конфигурационный файл config.xml, расположенный в <Дистрибутив>\Files\Setup строку <Setting Id="AllowWindowsClientInstall" Value="True"/>, как указано в статье Настройка среды разработки для SharePoint 2010 в Windows Vista, Windows 7 и Windows Server 2008.

Рис.6

После этого Setup.exe запускается нормально.

После ввода продуктового ключа и согласия с лицензионным соглашением будет предложено выбрать тип установки шаропойнта: одиночная установка или в режиме серверной фермы. В случае standalone установки служебные базы SharePoint размещаются на сервере SQL Server 2008 Express (даже не R2), который он приносит с собой:

Рис.7

что означает не более 4 ГБ на базу (даже не 10), не более 1 гига для буфер-пула, 1 процессор и другие ограничения. При выборе Complete предполагается, что SQL Server для создания служебных баз уже присутствует, и строка соединения с ним задается самостоятельно в процессе конфигурирования после установки SharePoint. Если хочется, чтобы SharePoint 2010 держал свои базы на SQL Server 2012, выбираем установку типа Server Farm. К тому же, ферма может состоять из всего одного шаропойнта: а SharePoint farm can be a single server or multiple servers. What sets a farm apart from a standalone installation is the presence of additional infrastructure, such as the Claims to Windows Token Service.

Рис.8

SharePoint может быть также установлен как front-end Web-сервер, а не Complete, но этот тип установки выполняется из командной строки.

Рис.9

Рис.10

Рис.11

Конфигурирование выполняется непосредственно после основной установки или по желанию (Start -> All Programs -> Microsoft SharePoint 2010 Products -> SharePoint 2010 Products Configuration Wizard):

Рис.12

Рис.13

Рис.14

Рис.15

При конфигурировании новой фермы шаропойнтовский визард пытается создать служебные базы на заданном SQL Server и установить credentials, под которыми к ним будет осуществляться доступ. По соображениям повышенной безопасности он хочет использовать для этого учетную запись Windows, а не SQLные логин-пароль, и совершенно логично предполагает, что это должна быть доменная учетная запись, коль скоро от ее имени будет происходить обращение с разных узлов (фермы). Проблема в том, что Windows 7 в данном случае является standalone машиной, не входящей ни в какой домен. Пришлось прибегнуть к обходному пути, описанному здесь - Installing SharePoint Farm without domain controller. Для этого я открыл SSMS и вручную создал на имеющемся под рукой SQL Server две базы данных: одну для хранения конфигурации, другую - под содержание веб-сайта централизованного администрирования, - обе в кодировке Latin1_General_CI_AS_KS_WS:

use master

if exists (select 1 from sys.databases where name = 'SharePoint_Config') begin

alter database SharePoint_Config set single_user with rollback immediate

drop database SharePoint_Config

end

create database SharePoint_Config collate Latin1_General_CI_AS_KS_WS

Скрипт 2

и аналогично БД SharePoint_AdminContent. Обходной путь состоит в том, чтобы вместо графического визарда psconfigui.exe (Рис.12-15) воспользоваться утилитой командной строки psconfig.exe, лежащей там же:

cd C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN

Скрипт 3

Команда создает новую конфигурационную БД (читай, шаропойнтовскую ферму) на SQL Server по имени -server, и база эта будет называться -database. Для соединения с SQL Server -server используется стандартная безопасность, т.е. SQL Serverный логин -dbuser со своим паролем -dbpassword. На этом, наверное, стоит заострить внимание, потому что попадаются случаи, когда люди долбятся на SQL Server из psconfig.exe под своим Windowsовым эккаунтом, по-детски удивляясь ошибке The configdb command is invalid or a failure has been encountered. Cannot connect to database master at SQL server at w7x64_Denali. The database might not exist, or the current user does not have

permission to connect to it:

Рис.16

Достаточно заглянуть SQL Serverу в Error Log, чтобы понять, чего он хочет: Login failed for user 'w7x64_Denali\Administrator'. Reason: Attempting to use an NT account name with SQL Server Authentication. [CLIENT: <local machine>].

Рис.17

Пряча снисходительную улыбку, я запустил абсолютно корректный (как мне казалось) Скрипт 3 и был немедленно низвергнут за свою гордыню:

Рис.18

Не может она отыскать хранимую процедуру sp_dboption на SQL Server 2012 и оттого не может создать конфигурационную базу SharePoint. Собственно, ничего удивительного в этом нет: This is a designed behavior change in SQL 2012, and the spec proc sp_dboption is deprecated in SQL 2012. According to the online document (http://msdn.microsoft.com/en-us/library/ms187310.aspx), you can use "ALTER DATABASE" to modify the database options. В связи с этим рекомендуется установка SharePoint 2010 SP1: One of the primary reasons SP1 is required for SharePoint installations running with Microsoft SQL Server 2012 Release Candidate 0 (RC 0) is the database engine feature sp_dboption, that was deprecated in a previous release, is discontinued in the Microsoft SQL Server 2012 Release Candidate 0 (RC 0) release.

Продолжение следует.

Алексей Шуленин

Оффлайновая установка SSDT

isvrus — Fri, 24 Feb 2012 07:08:00 GMT

Одним из новшеств SQL Server 2012 считаются SSDT - SQL Server Data Tools, известные ранее, как Juneau. Идейно это знакомый всем по прошлым версиям VS датабазный проект, однако теперь эта возможность относится не к Visual Studio, а к SQL Server и бесплатно скачивается с веб-сайта Microsoft. Соответственно, платить отдельные деньги за Visual Studio в этом случае не нужно подобно тому, как ранее входили в BIDS проекты по разработке для Analysis Services, Integration Services и Reporting Services. Вижуалстудийная оболочка вместе с несколькими типовыми шаблонами устанавливается в составе сетапа SQL Server 2012, а непосредственно шаблон Database-проекта добавляется Web Installer'ом при первом к нему обращении.

Посмотреть сравнительную матрицу характеристик SQL Server Data Tools CTP4 по отношению к традиционным VS2010 Database Projects можно здесь. Узнать, что нового появилось в 4-м СТР SSDT можно здесь.

Желание установить SSDT обозначается в ходе штатной установки SQL Server 2012:

Рис.1

И действительно, по завершении установки соответствующий пункт появляется в SQL Serverном меню:

Рис.2

Нажатие этого пункта открывает обыкновенную среду Visual Studio (в данном примере VS2010 SP1 Ultimate уже была установлена на демонстрационной машине):

Рис.3

в которой, как в BIDS (Business Intelligence Development Studio) в SQL Server 2005, 2008, 2008 R2, можно создавать многомерные базы для Analysis Services, пакеты Integration Services и отчеты Reporting Services. Обратите внимание, что в SSAS наряду с традиционной многомеркой нарисовался тип проекта Tabular. Это появившийся в 2008 R2 PowerPivot в смысле движка VertiPaq (колоночные индексы, сжатие, in-memory OLAP, все дела), только не персональный в Excel и не в Sharepoint, а на стороне сервера Analysis Services.

Рис.4

Рис.5

В пункте Database\SQL Server содержатся проекты, позволяющие создавать хранимые процедуры, функции, триггеры, агрегаты для SQL Server на C# и VB, датабазные проекты для SQL Server предыдущих версий, а также проекты по созданию Data-Tier Application (dacpac), позволяющие запаковать базу в XML-манифест, что облегчает ее перенос между экземплярами SQL Server и в SQL Azure. Для 2012 эта возможность входит в стандартный датабазный проект.

Рис.6

который находится в пункте SQL Server и для которого не требуется приобретать VS в отличие от Рис.6.

Рис.7

Инсталляция SQL Server только обозначает, но не устанавливает сам шаблон данного проекта, и попытка его открыть приведет к тому, что VS, радостно шурша, попрется в Интернет по адресу http://www.microsoft.com/web/gallery/install.aspx?appid=SSDT и запустит веб-инсталлятор SSDT:

Рис.8

Рис.9

Рис.10

Далее начались какие-то чудеса. За каким-то лешим ей захотелась папка, откуда я в прошлом году ставил древний СТР Juneau:

Рис.11

которой она, естественно, не нашла и сильно расстроилась:

Рис.12

Разъяснение этому странному поведению отыскалось в блоге команды SSDT:

As it stands now, all of the SSDT launch points within SQL Server 2012 RC0 point to the older SQL Server Developer Tools CTP3 Code-named “Juneau” binaries. These bits are not compatible with SQL Server 2012 RC0... We are working diligently to correct this issue... We apologize for the delay and inconvenience...

Действительно, через 3 дня положение дел было исправлено: We are happy to announce that SQL Server Data Tools CTP4 (SSDT) is now available for download here! This release is fully integrated and compatible with SQL Server 2012 RC0.

Установка происходит аналогично VS2010 SP1. Скачивается относительно небольшой установщик, который на месте разбирается, что из пререквизитов требуется поставить и качает из Интернета их, а также, собственно, основной контент.

Рис.13

Если разработческая машина не подключена к Интернету, то идем туда, где он есть и выбираем один из указанных в п.2.1 (Рис.13) адресов в зависимости от языка, например, http://go.microsoft.com/fwlink/?LinkID=236828&clcid=0x409 для английской версии. Скачиваем установщик SSDTSetup.exe

Рис.14

и запускаем его в виде

"C:\Distrib\SSDT CTP4\SSDTSetup.exe" /layout "C:\Juneau CTP4 Standalone Install". В указанной в назначении папке создастся оффлайновый дистрибутив, который можно отнести на изолированную машину и запустить там. Поскольку установщик не знает, какие пререквизиты понадобятся, он их скачивает по максимуму все, так что процесс это не быстрый:

Рис.15

и если посредине случится какая-либо неприятность, ничем хорошим он не закончится:

Рис.16

Особенно грустно, когда это происходит на последних процентах. Делать нечего, открываю по ссылке журнал установки. Вначале перечисляются пакеты, которые установщик запланировал скачать:

[1784:1234][2012-02-23T20:55:08]: Planned package: NETFX4, state: Present, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Register

[1784:1234][2012-02-23T20:55:08]: Planned package: KB2468871V2_x86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: KB2468871V2_x64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: VISUALSTUDIO2010INTEGRATEDRTM, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: VISUALSTUDIO2010SP1PATCH, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: KB2544514, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLLS11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLLS11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLDOM11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLDOM11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: TSQLLANGSVC11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: TSQLLANGSVC11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: DACFX11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: DACFX11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLLOCALDBX86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLLOCALDBX64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLCLRTYPES11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLCLRTYPES11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLSMO11X86, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SQLSMO11X64, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SSDTEXTERNALS10, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SSDTBUILDUTILITIES10, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: SSDT10, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Planned package: DBSQLPACKAGEPROVIDER10, state: Absent, default requested: Cache, ux requested: Cache, execute: None, rollback: None, cache: No, uncache: No, dependency: Unregister

[1784:1234][2012-02-23T20:55:08]: Plan complete, result: 0x0

[1784:1234][2012-02-23T20:55:08]: Apply begin

после чего началась их непосредственная скачка:

[1784:09A4][2012-02-23T20:55:09]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236827&clcid=0x409

[1784:09A4][2012-02-23T20:55:09]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236827&clcid=0x409

[1784:09A4][2012-02-23T21:01:38]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\NETFX4' to path 'C:\Juneau CTP4 Standalone Install\payload\dotNetFx40_Full_x86_x64.exe'

[1784:09A4][2012-02-23T21:01:40]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236829&clcid=0x409

[1784:09A4][2012-02-23T21:01:41]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236829&clcid=0x409

[1784:09A4][2012-02-23T21:10:08]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\KB2468871V2_x86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\NDP40-KB2468871-v2-x86.exe'

[1784:09A4][2012-02-23T21:10:09]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236814&clcid=0x409

[1784:09A4][2012-02-23T21:10:10]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236814&clcid=0x409

[1784:09A4][2012-02-23T21:14:49]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\KB2468871V2_x64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\NDP40-KB2468871-v2-x64.exe'

[1784:09A4][2012-02-23T21:14:50]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236806&clcid=0x409

[1784:09A4][2012-02-23T21:14:51]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236806&clcid=0x409

[1784:09A4][2012-02-23T21:17:36]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\VISUALSTUDIO2010INTEGRATEDRTM' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\VSIntShell.exe'

[1784:09A4][2012-02-23T21:17:37]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:37]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:37]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:37]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:37]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\VISUALSTUDIO2010SP1PATCH'

[1784:09A4][2012-02-23T21:17:41]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:41]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:41]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:41]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:41]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\VISUALSTUDIO2010SP1PATCH'

[1784:09A4][2012-02-23T21:17:45]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:17:45]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409

[1784:09A4][2012-02-23T21:38:05]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\VISUALSTUDIO2010SP1PATCH' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\VS10sp1-KB983509.exe'

[1784:09A4][2012-02-23T21:38:06]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236808&clcid=0x409

[1784:09A4][2012-02-23T21:38:08]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236808&clcid=0x409

[1784:09A4][2012-02-23T21:38:20]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\KB2544514' to path 'C:\Juneau CTP4 Standalone Install\payload\NDP40-KB2544514-x86-x64.exe'

[1784:09A4][2012-02-23T21:38:21]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236830&clcid=0x409

[1784:09A4][2012-02-23T21:38:22]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236830&clcid=0x409

[1784:09A4][2012-02-23T21:43:59]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLLS11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\sqlls.msi'

[1784:09A4][2012-02-23T21:44:00]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236822&clcid=0x409

[1784:09A4][2012-02-23T21:44:02]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236822&clcid=0x409

[1784:09A4][2012-02-23T21:44:24]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLLS11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\sqlls.msi'

[1784:09A4][2012-02-23T21:44:25]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236809&clcid=0x409

[1784:09A4][2012-02-23T21:44:26]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236809&clcid=0x409

[1784:09A4][2012-02-23T21:45:24]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLDOM11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\SQLDom.msi'

[1784:09A4][2012-02-23T21:45:24]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236810&clcid=0x409

[1784:09A4][2012-02-23T21:45:25]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236810&clcid=0x409

[1784:09A4][2012-02-23T21:46:38]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLDOM11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\SQLDom.msi'

[1784:09A4][2012-02-23T21:46:40]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236811&clcid=0x409

[1784:09A4][2012-02-23T21:46:41]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236811&clcid=0x409

[1784:09A4][2012-02-23T21:46:50]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\TSQLLANGSVC11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\TSqlLanguageService.msi'

[1784:09A4][2012-02-23T21:46:50]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236812&clcid=0x409

[1784:09A4][2012-02-23T21:46:51]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236812&clcid=0x409

[1784:09A4][2012-02-23T21:47:01]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\TSQLLANGSVC11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\TSqlLanguageService.msi'

[1784:09A4][2012-02-23T21:47:02]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236813&clcid=0x409

[1784:09A4][2012-02-23T21:47:03]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236813&clcid=0x409

[1784:09A4][2012-02-23T21:47:09]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\DACFX11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\DACFramework.msi'

[1784:09A4][2012-02-23T21:47:10]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236815&clcid=0x409

[1784:09A4][2012-02-23T21:47:11]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236815&clcid=0x409

[1784:09A4][2012-02-23T21:47:17]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\DACFX11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\DACFramework.msi'

[1784:09A4][2012-02-23T21:47:18]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236816&clcid=0x409

[1784:09A4][2012-02-23T21:47:19]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236816&clcid=0x409

[1784:09A4][2012-02-23T21:51:15]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLLOCALDBX86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\SqlLocalDB.msi'

[1784:09A4][2012-02-23T21:51:16]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:16]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:16]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:16]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:16]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLLOCALDBX64'

[1784:09A4][2012-02-23T21:51:19]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:21]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236817&clcid=0x409

[1784:09A4][2012-02-23T21:51:47]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLLOCALDBX64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\SqlLocalDB.msi'

[1784:09A4][2012-02-23T21:51:48]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236818&clcid=0x409

[1784:09A4][2012-02-23T21:51:49]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236818&clcid=0x409

[1784:09A4][2012-02-23T21:51:51]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLCLRTYPES11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\SQLSysClrTypes.msi'

[1784:09A4][2012-02-23T21:51:52]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236819&clcid=0x409

[1784:09A4][2012-02-23T21:51:53]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236819&clcid=0x409

[1784:09A4][2012-02-23T21:51:55]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLCLRTYPES11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\SQLSysClrTypes.msi'

[1784:09A4][2012-02-23T21:51:56]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236820&clcid=0x409

[1784:09A4][2012-02-23T21:51:57]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236820&clcid=0x409

[1784:09A4][2012-02-23T21:52:53]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLSMO11X86' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\SharedManagementObjects.msi'

[1784:09A4][2012-02-23T21:52:54]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236821&clcid=0x409

[1784:09A4][2012-02-23T21:52:56]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236821&clcid=0x409

[1784:09A4][2012-02-23T21:53:15]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SQLSMO11X64' to path 'C:\Juneau CTP4 Standalone Install\payload\x64\SharedManagementObjects.msi'

[1784:09A4][2012-02-23T21:53:16]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236823&clcid=0x409

[1784:09A4][2012-02-23T21:53:17]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236823&clcid=0x409

[1784:09A4][2012-02-23T21:53:19]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SSDTEXTERNALS10' to path 'C:\Juneau CTP4 Standalone Install\payload\x86\SSDTDBSvcExternals.msi'

[1784:09A4][2012-02-23T21:53:20]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236824&clcid=0x409

[1784:09A4][2012-02-23T21:53:22]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236824&clcid=0x409

[1784:09A4][2012-02-23T21:53:22]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SSDTBUILDUTILITIES10' to path 'C:\Juneau CTP4 Standalone Install\ssdt\x86\SSDTBuildUtilities.msi'

[1784:09A4][2012-02-23T21:53:23]: Download engine HTTP 200 HEAD to http://go.microsoft.com/fwlink/?LinkId=236826&clcid=0x409

[1784:09A4][2012-02-23T21:53:24]: Download engine HTTP 200 GET to http://go.microsoft.com/fwlink/?LinkId=236826&clcid=0x409

[1784:09A4][2012-02-23T21:53:30]: Caching payload from working path 'C:\Users\ADMINI~1\AppData\Local\Temp\SSDT10' to path 'C:\Juneau CTP4 Standalone Install\ssdt\x86\SSDT.msi'

[1784:09A4][2012-02-23T21:53:30]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:30]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:30]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:30]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:30]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\DBSQLPACKAGEPROVIDER10'

[1784:09A4][2012-02-23T21:53:34]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:34]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:34]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:34]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:34]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\DBSQLPACKAGEPROVIDER10'

[1784:09A4][2012-02-23T21:53:37]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:37]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:37]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:37]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:37]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\DBSQLPACKAGEPROVIDER10'

[1784:09A4][2012-02-23T21:53:41]: Download engine HTTP 503 HEAD to http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to send request to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to connect to URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to get size and time for URL: http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed attempt to download URL: 'http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409' to: 'C:\Users\ADMINI~1\AppData\Local\Temp\DBSQLPACKAGEPROVIDER10'

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to download payload from URL: 'http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409' to working path: 'C:\Users\ADMINI~1\AppData\Local\Temp\DBSQLPACKAGEPROVIDER10'

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to acquire payload.

[1784:09A4][2012-02-23T21:53:41]: Error 0x80070003: Failed to cache packages.

[1784:1234][2012-02-23T21:53:41]: Error 0x80070003: Failed while waiting for cache thread to complete before executing.

Скачивание происходило натужно, что отражает реалии вечернего праздничного Интернета. Пару раз оно затыкалось на url = http://go.microsoft.com/fwlink/?LinkId=236807&clcid=0x409 (VISUALSTUDIO2010SP1PATCH), потому что сервис-пак здоровый, а потом, видимо, Интернет вовсе отрубился, поэтому DBSQLPACKAGEPROVIDER10 так и остался нескачанным с http://go.microsoft.com/fwlink/?LinkId=236825&clcid=0x409. Если я правильно понимаю, эта штука нужна для упаковки приложения в dacpac. Докачал последний компонент вручную. Получившаяся папка с оффлайновым дистрибутивом SSDT весит 1.7 ГБ, имеет две папки payload и ssdt, в которые рассованы скачанные компоненты, и пускач SSDTSetup.exe. По идее, Интернет больше не нужен. Запускаем - ставится:

Рис.17

Рис.18

Рис.19

У меня не было уверенности, что он подцепил при установке DbSqlPackageProvider.msi, который я докачивал вручную, поэтому я запустил его отдельно:

Рис.20

Web Deploy v3.0 Beta брал здесь.

Рис.21

Тип установки - Typical.

Рис.22

После этого снова запустил DbSqlPackageProvider.msi. На этот раз установка прошла успешно.

Рис.23

В списке установленных компонентов Visual Studio (Help -> About) появляются Microsoft SQL Server Data Tools, CTP4:

Рис.24

а SQL Server Data Tools - Database Project (Рис.7) теперь сменяется на просто Database Project:

Рис.25

Открываем новый проект, в нем View -> SQL Server Object Explorer слева и View -> Solution Explorer справа. Делаем тх панели docked. Object Explorer по умолчанию коннектится к LocalDB, которую SSDT ставят в своем составе, но, указав строку соединения, его так же, как и SSMS, можно законнектить к любому SQL Server. Кликаем правой кнопкой по Database1 в Solution Explorer, из контекстного меню выбираем Add -> Table или Add -> New Item -> Table и создаем в дизайнере таблицу и другие элементы базы данных. Из меню Build выбираем Publish Database и указываем строку соединения, на какой сервер публикуем. Локально разработанная БД появляется на указанном SQL Server. Закрываем решение, открываем новое, из контекстного меню Database1 в Solution Explorer говорим Import -> Database и вытягиваем БД с SQL Server в локальное решение. В пункте меню SQL выбираем Transact-SQL Editor, соединяемся, выполняем запрос (кнопка выполнения не Build, а в центральной части, прямо под заголовком панели). Из контекстного меню Database1 в Solution Explorer выбираем пункт Snapshot Project. в папке Snapshots в Solution Explorer появляется файл dacpac.

Рис.26

В целом, все работает. Открываем SSMS 2012 RC0, Object Explorer -> Databases -> Deploy Data-tier Application, задаем свежесозданный dacpac (папка решения, подпапка Snapshots). Получаем ошибку

Рис.27

Так что насчет This release is fully integrated and compatible with SQL Server 2012 RC0 ребята немного погорячились. К релизу, наверное, доведут, а пока dacpac через SSDT.

Алексей Шуленин

Мультитенантные таблицы в SQL Azure. Безопасность уровня записи.

isvrus — Fri, 17 Feb 2012 18:26:00 GMT

Содержание предыдущей серии

Наверно, все нашли и прочитали статью Implementing Row- and Cell-Level Security in Classified Databases. Это очень полезный концептуальный материал, в котором рассматриваются различные сценарии управления правами: уровни секретности (доступ к совершенно секретным документам дает доступ вниз по иерархии к секретным и конфиденциальным документам), ведомственное разделение прав (доступ к совершенно секретным документам подразделения А не означает доступ к секретным документам подразделения Б) и т.д. Чтобы не усложнять изложение, обойдемся без вспомогательных таблиц меток. В нашем случае будет иметь место только доменный атрибут безопасности, где членами домена выступают пользователи базы данных, с правилом сравнения "любой из". Права пользователей на запись (в смысле, строки, а не операции) будут находиться в дополнительном XML-поле этой записи - своего рода ACL. Также я ставлю входным условием, что над записью возможны только два типа действий: чтение и модификация (обновление, удаление). Правом на модификацию обладает только ее владелец - тот, кто ее создал, т.е. сделал insert этой записи. Он может раздавать остальным права на ее чтение и отбирать их. Имена пользователей перечисляются как элементы в XML-поле этой записи. Первым элементом всегда идет ее собственник, последуюшими - те, кому он дал право видеть эту запись. Получается достаточно простой, но иллюстративный пример. Заходим на сервер SQL Azure в базу Изумрудный город тремя соединениями под логинами Гудвин, Страшила и Железный дровосек. Это все было создано в прошлой серии. Единственно, нужно убрать недопустимые для имени XML-элемента символы из пользователя [Ж/д_user], соответствующего логину Железный дровосек (см. прошлый пост\Рис.10). Пусть будет ЖД_user. Созданные на прошлом занятии схемы [Sch_ж/д] и Sch_Страшила, а также таблица Sch_Страшила.[Мои документы] больше не понадобятся. Желающие могут вообще пересоздать БД Изумрудный город и начать жизнь с нуля. В зависимости от радикальности очистки нужно выполнить тот или иной фрагмент уборочного скрипта:

--От имени Гудвина или владельца сервера SQL Azure в контексте БД Изумрудный город:

drop table Sch_Страшила.[Мои документы]

drop schema [Sch_ж/д]

drop schema Sch_Страшила

drop user Страшила_user

drop user [Ж/д_user]

--От имени владельца сервера SQL Azure в контексте БД master:

drop user Гудвин_user

drop login Страшила

drop login [Железный дровосек]

drop login Гудвин

drop database [Изумрудный город]

Скрипт 1

Соответственно, если считать, что от прошлого занятия на сервере SQL Azure ничего не осталось, нужно зайти в БД master под его владельцем и выполнить скрипт:

create login Гудвин with password = 'p@$$w0rd'

create user Гудвин_user from login Гудвин

exec sp_addrolemember @rolename = 'loginmanager', @membername = N'Гудвин_user'

exec sp_addrolemember @rolename = 'dbmanager', @membername = N'Гудвин_user'

Скрипт 2

От имени пользователя Гудвин в контексте БД master:

create login Страшила with password = 'p@$$w0rd'

create login [Железный дровосек] with password = 'p@$$w0rd'

create database [Изумрудный город] collate cyrillic_general_100_ci_as (maxsize = 1 GB)

Скрипт 3

От имени пользователя Гудвин в контексте БД Изумрудный город:

create user Страшила_user from login Страшила

create user [ЖД_user] from login [Железный дровосек]

Скрипт 4

На этом подготовительную работу можно считать законченной.

Для разнообразия будем соединяться с сервером SQL Azure из SSMS, а не из SQL Azure Management Portal. Про соединение с облачной базой из SSMS рассказывалось в позапрошлой серии. Гудвин как dbo создает в базе таблицу, в которой будут хранить свои документы остальные пользователи.

if object_id('dbo.Документы', 'U') is not null drop table dbo.Документы

create table dbo.Документы (ID int identity(1, 1) primary key clustered,

Название nvarchar(150), Содержание nvarchar(max),

Доступ xml default '<Users><' + CURRENT_USER + '/></Users>')

insert dbo.Документы (Название, Содержание) values ('ааа', 'аааааааааа')

select * from dbo.Документы

Рис.1

От Рис.11 предыдущей серии она отличается тем, что, во-первых, предполагается общей и лежит в схеме dbo, а не Sch_Страшила или [Sch_ж/д]. Во-вторых, в ней добавилось XML-поле Доступ. Каждый пользователь будет иметь доступ на чтение к тем записям, в поле Доступ которых он значится.

select * from dbo.Документы where Доступ.exist('Users/dbo') = 1

Скрипт 5

Требуется параметризовать в этом запросе имя пользователя. Не имеющие опыта работы с XQuery обычно не заморачиваются:

declare @user sysname = 'dbo'

select * from dbo.Документы where Доступ.exist('Users/' + @user) = 1

Msg 8172, Level 16, State 1, Line 2

The argument 1 of the XML data type method "exist" must be a string literal.

Скрипт 6

На форумах находятся "гуру", которые на полном серьезе советуют переписать его как динамический запрос. Те из читателей, что потратили летом немного времени на прочтение постов Как импортировать конфигурацию Windows Firewall в SQL Server, знают, что все делается гораздо проще:

declare @user varchar(100) = 'dbo'

select * from dbo.Документы where Доступ.exist('Users/*[local-name()=sql:variable("@user")]') = 1

Рис.2

Стало быть представление, при помощи которого текущий пользователь сможет просматривать записи, на чтение которых у него есть доступ, будет выглядеть так:

if object_id('dbo.Документы_друзей', 'V') is not null drop view dbo.Документы_друзей

create view dbo.Документы_друзей as

select ID, Название, Содержание from (select *, CURRENT_USER as CurrentUser from dbo.Документы) t

where Доступ.exist('Users/*[local-name()=sql:column("CurrentUser") and position()>1]') = 1

Скрипт 7

К сожалению, в качестве аргумента sql:variable() должна быть действительно @переменная. Функция не прокатывает. Даже такая встроенная, как CURRENT_USER (она же USER_NAME()), возвращающая текущего пользователя. Пришлось сделать представление на основе запроса с вычисляемой колонкой, в которую засунуть вызов этой функции и вместо sql:variable использовать sql:column в в качестве параметра XQuery-запроса.

В концептуальной статье предполагается, что когда пользователь получает доступ к записи, он с ней волен делать все: и читать, и модифицировать. Если права на действия разделяются, авторы задействуют instead of-триггеры. Можно вообще вынести весь процесс управления правами в прикладной слой. Это прагматично и неинтересно. Лучше, конечно, помучиться (с) Сухов. Я создам еще одно представление для операций модификации. В него войдут те записи, для которых текущий пользователь является владельцем, т.е. первым (.../*[1]) элементом в XML-поле:

if object_id('dbo.Собственные_документы', 'V') is not null drop view dbo.Собственные_документы

create view dbo.Собственные_документы as

select ID, Название, Содержание from dbo.Документы where Доступ.value('local-name(Users[1]/*[1])', 'sysname') = CURRENT_USER

Скрипт 8

На первое представление всем пользователям базы будут выданы права на чтение, на второе - на чтение и модификацию:

grant select on dbo.Документы_друзей to public

grant select, insert, update, delete on dbo.Собственные_документы to public

Рис.3

Страшила не видит добавленную Гудвином (Рис.1) запись, поскольку у него нет к ней доступа, а права на непосредственное чтение таблицы dbo.Документы у него тоже нет. Он может добавить в представление Собственные_документы записи, владельцом которых станет

insert dbo.Собственные_документы (��азвание, Содержание) values ('ббб', 'бббббббббб')

insert dbo.Собственные_документы (Название, Содержание) values ('ввв', 'вввввввввв')

Рис.4

но другие пользователи их тоже не увидят

select * from dbo.Документы

insert dbo.Документы (Название, Содержание) values ('ггг', 'гггггггггг')

select * from dbo.Собственные_документы

insert dbo.Собственные_документы (Название, Содержание) values ('ддд', 'дддддддддд')

insert dbo.Собственные_документы (Название, Содержание) values ('еее', 'ееееееееее')

select * from dbo.Собственные_документы

select * from dbo.Документы_друзей

Рис.5

пока он им не выдаст права на чтение. Осталось научить пользователей давать друг другу или отбирать гостевой доступ, т.е. добавлять имя другого пользователя в виде XML-элемента в поле Доступ. Не имеющие опыта работы с XQuery делают обычно так:

declare @x xml = '<Users><aaa/><bbb/></Users>', @user sysname = '<ccc/>'

set @x.modify('insert sql:variable("@user") as last into (/Users)[1]')

Msg 2207, Level 16, State 1, Line 2

XQuery [modify()]: Only non-document nodes can be inserted. Found "xs:string ?".

Скрипт 9

Но после упражнений с XQuery в серии постов Как импортировать конфигурацию Windows Firewall в SQL Server мы знаем, что вставлять надо не строку, а XML:

declare @x xml = '<Users><aaa/><bbb/></Users>', @user xml = '<ccc />'

set @x.modify('insert sql:variable("@user") as last into (/Users)[1]')

select @x

---------

Скрипт 10

Теперь не составляет труда написать процедуру, которая, принимая в качестве параметров идентификатор строки и имя пользователя, добавляет его в XML-поле данной строки. Это поле мы не выносили в представления, следовательно, обновлять придется базовую таблицу, следовательно, необходимо убедиться, что вызывающий процедуру пользователь является собственником записи с id = @ID_документа. в представлениях. Также необходимо убедиться, что добавляемый пользователь является действительным пользователем базы, т.е. содержится в sys.database_principals. В соответствии с Metadata Visibility Configuration по умолчанию Страшила не увидит в списке пользователей Железного дровосека и наоборот. В связи с этим была написана функция dbo.Есть_ли_такой_пользователь_в_базе, вызываемая с правами EXECUTE AS OWNER. Еще я включил в процедуру проверку, что пользователя с таким именем в XML-поле Доступ еще нет (update ... where ... Доступ.exist ... = 0), чтобы оно не распухало от дубликатов. Право на выполнение этой процедуры дается всем пользователям базы:

if object_id('dbo.Дать_доступ_пользователю_к_документу', 'P') is not null drop proc dbo.Дать_доступ_пользователю_к_документу

create proc dbo.Дать_доступ_пользователю_к_документу @ID_документа int, @пользователь sysname as

--Если записи с таким id нет в таблице или вызывающий эту процедуру не имеет на нее прав, завершиться с ошибкой

if not exists (select 1 from dbo.Собственные_документы where id = @ID_документа)

begin

raiserror ('Нет документа с id = %i', 16, 1, @ID_документа)

return

end

--Проверка на валидность имени пользователя

if dbo.Есть_ли_такой_пользователь_в_базе(@пользователь) = 0

begin

raiserror('Нет такого пользователя - %s :(', 16, 1, @пользователь)

return

end

--Добавить пользователя как XML-элемент в конец поля Доступ для записи с заданным id

--Предварительно проверяется, что такого пользователя нет в поле Доступ (where ... Доступ.exist(...) = 0), чтобы избежать дубликатов

declare @пользователь_в_виде_xml xml = '<' + @пользователь + '/>'

update dbo.Документы set Доступ.modify('insert sql:variable("@пользователь_в_виде_xml") as last into (/Users)[1]')

where id = @ID_документа and Доступ.exist('Users/*[local-name()=sql:variable("@пользователь")]') = 0

grant execute on Дать_доступ_пользователю_к_документу to public

Рис.6

Функция dbo.Есть_ли_такой_пользователь_в_базе также создается на соединении Гудвина:

if object_id('dbo.Есть_ли_такой_пользователь_в_базе', 'FN') is not null drop function dbo.Есть_ли_такой_пользователь_в_базе

create function dbo.Есть_ли_такой_пользователь_в_базе(@пользователь sysname) returns bit with execute as owner as

begin

return case when exists (select 1 from sys.database_principals where type = 'S' and isnull(sid, 0) <> 0 and name = @пользователь) then 1 else 0 end

end

grant execute on dbo.Есть_ли_такой_пользователь_в_базе to public

Скрипт 8

При помощи процедуры dbo.Дать_доступ_пользователю_к_документу Страшила дает право на просмотр одного из своих документов Железному дровосеку:

exec dbo.Дать_доступ_пользователю_к_документу @ID_документа = 3, @пользователь = 'ЖД_user'

Рис.7

После чего тот начинает ее видеть (ср. с Рис.3):

select * from dbo.Документы_друзей

Рис.8

потому что пользователь ЖД_user добавлен к списку доступа данной записи:

Рис.9

Процедура не позволяет Страшиле добавить пользователя в не принадлежащие ему записи, а также осуществляет валидацию имени пользователя перед его добавлением:

exec dbo.Дать_доступ_пользователю_к_документу @ID_документа = 1, @пользователь = 'ЖД_user'

exec dbo.Дать_доступ_пользователю_к_документу @ID_документа = 2, @пользователь = 'aaa'

--------------------------------------------------------------------

Msg 50000, Level 16, State 1, Procedure Дать_доступ_пользователю_к_документу, Line 5

Нет документа с id = 1

Msg 50000, Level 16, State 1, Procedure Дать_доступ_пользователю_к_документу, Line 11

Нет такого пользователя - aaa :(

Скрипт 11

Обратное действие - удаление пользователя из ACL - выполняет процедура dbo.Отобрать_у_пользователя_доступ_к_документу:

if object_id('dbo.Отобрать_у_пользователя_доступ_к_документу', 'P') is not null drop proc dbo.Отобрать_у_пользователя_доступ_к_документу

create proc dbo.Отобрать_у_пользователя_доступ_к_документу @ID_документа int, @пользователь sysname as

--Вызывающий должен быть владельцем записи с @ID_документа в таблице dbo.Документы, что проверяется ее джойном с представлением dbo.Собственные_документы

--Не разрешается удалять из списка себя, т.е. владельца: position() > 1

update dbo.Документы set Доступ.modify('delete Users/*[local-name()=sql:variable("@пользователь") and position() > 1]')

from Документы d inner join dbo.Собственные_документы sd on d.id = sd.id where d.id = @ID_документа

grant execute on Отобрать_у_пользователя_доступ_к_документу to public

Скрипт 12

которая, как и dbo.Дать_доступ_пользователю_к_документу, создается от лица Гудвина. Процедура также осуществляет проверку на то, что вызывающий является владельцем записи с id = @ID_документа, кроме того, он не может удалить из списка себя, т.е. первый элемент поля Доступ. Проверка на порядковый номер элемента осуществляется так же, как и в Скрипте 7.

Пример: Страшила отбирает у Железного дровосека гостевой доступ на запись с id = 3 и заодно пытается лишить доступа себя:

Рис.10

Теперь Железный дровосек действительно не видит больше запись Страшилы:

Рис.11

вместе с тем, соверши��ь над собой аутодафе Страшиле не удалось – он остался в списке пользователей:

Рис.12

В завершение покажем на примере Страшилы, что пользователь может обновлять и удалять собственные записи, т.е. те, которые он добавил:

update dbo.Собственные_документы set Название = 'в' where id = 3

delete dbo.Собственные_документы where id = 3

--------------------------------------------------------

(1 row(s) affected)

В упомянутой выше статье рассматривается также сценарий безопасности уровня ячейки, при котором факт наличия записи пользователя не скрывается от других пользователей. В нем считается, что нет криминала в том, что Железный дровосек будет знать, что у Страшилы в таблице имеется столько-то записей. Он даже может знать названия лежащих там документов. Защищаются только отдельные ее поля, например, содержание. Применимость подобного подхода зависит от ситуации. В некоторых случаях не только названия документов, но даже их количество у конкретного пользователя может являться чувствительной информацией. В то же время, если это приложение обработки и хранения изображений, и в таблице лежат фотки, которые Страшила сделал во время своего недавнего отпуска, нет, к примеру, большого греха в том, что Железный дровосек будет знать, что в этой записи у Страшилы хранится "Утро в сосновом бору", а в этой - "Последний кабак у заставы". Главное, что сами изображения, т.е. поле Содержание, он сможет увидеть не раньше, чем Страшила добавит его в друзья. Подобный сценарий реализуется за счет индивидуального шифрования ячеек стандартными функциями T-SQL EncryptByKey, которая производит шифрование на основе симметричного ключа, EncryptByAsymKey и EncryptByCert, которые понятно, при помощи чего производят шифрование. К сожалению, они не поддерживаются в SQL Azure.

В SQL Azure также не поддерживается TDE - прозрачное шифрование БД, при котором она шифруется целиком. Это понятно. TDE не защищает данные от администратора, потому что они автоматически расшифровываются при подтягивании страниц базы с диска в память, а поскольку администратор сервера SQL Azure имеет доступ к любой расположенной на нем базе, то при желании он их легко увидит. Прозрачное шифрование выступает, скорее, как защита от ворья, случайно получившего доступ к файлам БД. Незашифрованные файлы можно унести, приаттачить и прочитать на другом сервере. На худой конец, бинарным редактором. С зашифрованной базой такие номера не пройдут. Предполагается, что датацентр хорошо защищен по периметру и случайные воры туда не проникнут.

Продолжение следует.

Алексей Шуленин

Безопасность в SQL Azure.

isvrus — Sun, 12 Feb 2012 11:11:00 GMT

Содержание предыдущей серии.

До этого момента мы уже затрагивали несколько особенностей SQL Azure, связанных с безопасностью.

Во-первых, все соединения с SQL Azure в обязательном порядке шифруются на основе TLS (SSL), что соответствует добавлению в строку соединения свойств Encrypt=True;TrustServerCertificate=true. Их можно не прописывать в явном виде - при установлении соединения с сервером SQL Azure оно будет зашифровано по его инициативе. Делается это по аналогии с шифрованием пользовательских соединений в обычном SQL Server, которое мы рассматривали здесь как-то по весне. Таким образом обеспечивается защита от злобного хакера, который перехватывает на полдороге трафик между клиентом и Облаком и пытается его прочитать.

Во-вторых, по умолчанию, клиентские соединения с сервером SQL Azure запрещены. Чтобы их разрешить, надо добавить IP-адрес клиента в правила брандмауэра SQL Azure. Мы это проделывали в посте Создание сервера SQL Azure - см.тамошние Рис.9, 12. Программное управление правилами осуществляется хранимыми процедурами sp_set_firewall_rule N'Название правила','Начальный IP','Конечный IP', при помощи которой создается новое правило брандмауэра, и sp_delete_firewall_rule [@name =] N‘Название правила’, при помощи которой оно удаляется, а также системного представления sys.firewall_rules, при помощи которого просматриваются существующие правила брандмауэра.

В SQL Azure поддерживается стандартная модель безопасности SQL Server, то есть логин, входящий на уровень сервера при помощи пароля, и соответствующий ему пользователь внутри той или иной базы данных. При создании нового сервиса в виде сервера SQL Azure (см. Рис.6, 7) вместе с БД master создается административный логин (Рис.8), который выполняет ту же роль, что и небезызвестный sa в обычном SQL Server. В обычном SQL Server существуют системные представления sys.server_principals, показывающее логины и роли уровня сервера, sys.server_role_members, показывающее членство логинов в серверных ролях, и sys.server_permissions, показывающее, какой принципал какими правами на уровне сервера обладает. Список поддерживаемых в SQL Azure системных представлений можно посмотреть в BOL. Ни одного из трех перечисленных в нем нет. Существует аналог представления sql_logins, которое показывает все логины для данного сервера SQL Azure, потому что интегрированная с Windows аутентификация не поддерживается. Создание нового логина осуществляется при помощи команды CREATE LOGIN. В отличие от обычного SQL Server нельзя указывать политики сложности и срока действия пароля; то, что человек должен сменить его при первом заходе; базу данных по умолчанию, куда будет устанавливаться соединение и т.д.

create login Гудвин with password = 'p@$$w0rd'

Грантование прав на доступ к базе, как обычно, осуществляется заведением в этой БД пользователя, соответствующего данному логину. Сейчас я нахожусь в контексте БД master и выдаю права на доступ к этой базе свежесозданному логину:

create user Гудвин_user from login Гудвин

Чтобы логин мог создавать других логинов, в SQL Azure нужно включить соответствующего ему пользователя в БД master в роль loginmanager в этой базе. В обычном SQL Server ее аналогом выступает серверная роль securityadmin.

exec sp_addrolemember @rolename = 'loginmanager', @membername = N'Гудвин_user'

Рис.1

select name, principal_id, type_desc, default_schema_name, owning_principal_id, is_fixed_role, authentication_type_desc from sys.database_principals

Рис.2

Теперь логин Гудвин может зайти на данный сервер SQL Azure в контексте БД master:

sqlcmd -S tcp:fxv4koqar4.database.windows.net,1433 -U Гудвин@fxv4koqar4 -P p@$$w0rd -N -C

Рис.3

На всякий случай напомню, что при коннекте sqlcmd к SQL Azure логин задается в виде <логин>@<сервер SQL Azure> - см. Рис.13 предыдущего поста.

Человек, которому мы выдадим этот логин, может не иметь эккаунта Windows Azure, следовательно, портал управления windows.azure.com -см., напр., Создание базы данных\Рис.6 - будет ему не доступен. Однако он может попасть на портал администрирования своей базы по адресу <имя сервера, где лежит его база>.database.windows.net. Я сейчас специально выбираю LiveID, не имеющий прав на Azure, захожу на https://fxv4koqar4.database.windows.net/ и на открывшемся голубом экране, как при Создании базы данных\Рис.7, ввожу в поле User Гудвин и в поле Password пароль этого логина.

Рис.4

Открывается портал управления БД - см. Работа с базой данных из портала\Рис.1. Нажимаем New Query и удостоверяемся, что это действительно тов.Гудвин:

Рис.5

Членство в роли loginmanager дает право создавать новые логины, но не дает право создавать новые базы:

create login Страшила with password = 'p@$$w0rd'

create login [Железный дровосек] with password = 'p@$$w0rd'

create database [Изумрудный город] collate cyrillic_general_100_ci_as (maxsize = 1 GB)

Рис.6

Нужно зайти на https://fxv4koqar4.database.windows.net/#$entity=NewQuery&id=1&workspace=Query под глобальным администратором сервера fxv4koqar4 (тем, который заводился при создании сервера) и дать право на создание новых баз логину Гудвин. Сказать grant create any database to Гудвин мы не можем, потому что Msg 40520, Level 16, State 1. Securable class 'server' not supported in this version of SQL Server. Можно включить пользователя Гудвин_user, соответствующего логину Гудвин в БД master в датабазную роль dbmanager БД master аналогично включению в роль loginmanager:

exec sp_addrolemember @rolename = 'dbmanager', @membername = N'Гудвин_user'

Рис.7

Теперь оператор создания новой базы на гудвиновском соединении отрабатывает нормально:

Рис.8

Чтобы дать логинам Страшила и Железный дровосек право на доступ к свежесозданной базе, надо создать в ней пользователей, соответствующих этим логинам. Гудвин сейчас находится в контексте БД master. Команды USE, как мы помним, в SQL Azure нет. Поэтому он должен открыть еще одно соединение аналогично Рис.4 и вместо master указать название БД Изумрудный город.

Рис.9

Для разведения интересов пользователей каждому внутри базы будет создана схема под его объекты и выданы некоторые права на копошение внутри своей схемы:

create user Страшила_user from login Страшила

create user [Ж/д_user] from login [Железный дровосек]

create schema Sch_Страшила authorization Страшила_user

grant create table to Страшила_user

create schema [Sch_ж/д] authorization [Ж/д_user]

grant create table to [Ж/д_user]

Рис.10

Выполнять эти операторы лучше не торопясь, вдумчиво, один за другим, чтобы к моменту создания схемы SQL Azure успела сообразить, что такой пользователь в базе уже создан.

Теперь по образцу Рис.9 открываем еще одно соединение от лица логина Страшила к БД Изумрудный город и выполняем скрипт

create table Sch_Страшила.[Мои документы] (ID int identity(1, 1) primary key clustered, Название nvarchar(150), Содержание nvarchar(max))

insert Sch_Страшила.[Мои документы] (Название) values ('Мозги на основе отрубей и булавок. Диссертация на соискание ученой степени любителя наук (любительская)')

grant select on schema::Sch_Страшила to [Ж/д_user]

create table [Sch_ж/д].[Мои документы] (ID int identity(1, 1) primary key clustered, Название nvarchar(150), Содержание nvarchar(max))

Рис.11

Мы видим что пользователь Страшила_user обладает у себя в схеме правами, розданными ему создателем базы Изумрудный город на уровне базы. На чужие схемы у него таких прав нет, как и наоборот - у Железного дровосека на схему Страшилы. Чтобы Железный дровосек мог читать из таблиц схемы Страшилы, тот грантует ему права на чтение схемы. Открываем еще одно соединение, на этот раз от имени Железного дровосека, и проверяем:

select * from Sch_Страшила.[Мои документы]

update Sch_Страшила.[Мои документы] set Название = 'Мозги на основе отрубей и булавок',

Содержание = 'Диссертация на соискание ученой степени любителя наук (любительская)'

where id = 1

Рис.12

Таким образом, разводка пользователей на уровне схем работает нормально. Под разводкой пользователей понимается не то, что сейчас подумали циничные читатели, а разделение пользовательских данных и гибкое управление правами на доступ к ним. Однако не для всех сценариев схемы являются оптимальным вариантом. Допустим, при помощи своей облачной базы Гудвин предоставляет сервисы по хранению и обработке пользовательских снимков. Или проверке орфографии в документах. Или еще что-нибудь. Пользователей в этом случае ожидается гораздо больше. Заводить под каждого схему нереально. Проще создать одну табличку на всех, где на каждую фотку отводится запись с полем varbinary(max), далее описание, выдержка, диафрагма, вспышка, размер кадра и т.д. Мы с вами упражнялись перекладыванием фоток в базу еще во времена SQL Server 2008 на тему FILESTREAM. См., например, посты из серии SQL Server File System. Проблема состоит в том, что каждый пользователь должен в этом случае изначально получать доступ только к своим записям в общей таблице, т.е. в row-level security, точнее, в ее отсутствии. Ее, кстати сказать, очень сильно недостает и в обычном SQL Server. Зато в 2012 появилась функция iif(). Невозможно себе представить, как мы жили без нее до сих пор с одним немудреным case ... when ... else. Нет, я ничего не имею против функции iif(). Не исключено, что это очередной тектонический сдвиг, который позволил резко укрепить конкурентные преимущества и т.д. Просто мне казалось, что появление, наконец, безопасности уровня записи осчастливило бы гораздо больше людей, которые ждали ее и в 2005-м, и в 2008-м, и снова мимо. Стало быть, я заблуждался. На сегодня в колбасе потребности нет. Придется снова прибегнуть к костылям и подпоркам - см. SQL Server Label Security Toolkit на CodePlexe. Там имеется ссылка на техническую статью "Implementing Row- and Cell-Level Security in Classified Databases", которая, как неожиданно выяснилось, не работает. Давайте на этом месте ненадолго прервемся, а мультитенантность в пределах одной таблицы разберем в следующем посте.

Алексей Шуленин

SQL Azure. Работа с базой данных из SSMS.

isvrus — Tue, 07 Feb 2012 14:42:00 GMT

Содержание предыдущей серии

Работа с облачной базой данных из интерфейса портала SQL Azure удобна в том плане, что не требует никакой специальной клиентской части, кроме IE и Silverlight. Если под рукой имеется специализированный инструмент разработки и администрирования, как SQL Server Management Studio, было бы нерационально не использовать предоставляемых ей возможностей. Как я забыл сказать во Введении, начиная с SQL Server 2008 R2 November CTP (9 ноября 2009 г.), т.е. еще до официального выпуска SQL Server 2008 R2 и SQL Azure, стали поддерживаться соединение и работа с облачной базой из SSMS. Говорят, что к SQL Azure можно зацепиться и из SSMS 2008 (я не пробовал). Возможность работы с SQL Azure сохранится и будет, естественно, многкратно улучшена в SQL Server 2012 (Denali): как в SSMS, так и в том, что раньше называлось Database Project в Visual Studio, а ныне превратилось в SQL Server Data Tools (Juneau). О том, что нового предлагает 2012 в плане работы с Azure, я планирую поговорить отдельно, а пока откроем обычную SQL Server Management Studio в составе SQL Server 2008 R2:

Рис.1

Как водится при своем открытии она спросит, соединить ли Object Explorer с каким-нибудь экземпляром SQL Server? Cоединение с облачным SQL Server производится так же, как c обычным. Требуется только выход в Интернет. В качестве Server name вбиваем Fully Qualified DNS Name облачного SQL Server, с которым хотим соединиться. Мы его неоднократно видели в свойствах сервера на портале Windows Azure - см., напр., Рис.6 позапрошлого поста. В качестве Login/Password, соответственно, указываем тот эккаунт, который имеет права на базу, которая явно или неявно будет обозначена в свойствах соединения - аналогично Рис.7 позапрошлого поста.

Рис.2

Здесь необходимо отметить несколько особенностей, которые уже упоминались в предыдущих постах: в SQL Azure действует стандартная модель безопасности, базу данных в ходе сессии менять нельзя, значит, надо сразу подключаться к нужной, и что соединение устанавливается поверх сетевой библиотеки TCP/IP на порт 1433 (соответственно, с клиента должен быть разрешен исходящий трафик). Следует также иметь в виду Firewall Rules для облачного SQL Server - см. пост Создание сервера, Рис.12. Задать в свойствах соединения SSMS базу данных и сетевую библиотеку можно по нажатию кнопки Options >>:

Рис.3

В комбобоксе Connect to database имеется опция <Browse server...>, позволяющая вывести список доступных баз и выбрать, с какой из них соединяться. При этом неявно происходит подключение к БД master указанного ранее сервера SQL Azure и выполняется запрос select * from sys.databases, как на Рис.9 позапрошлого поста, т.е. нужно, чтобы информация, заданная на Рис.2, была валидной. Если Network protocol установлен в <default>, сетевые библиотеки будут применяться в порядке, заданном в настройках клиента в SQL Server Configuration Manager:

Рис.4

Следуя этим нехитрым рекомендациям, мы без труда устанавливаем соединение с облачным SQL Server и видим в базе TestDB все объекты, созданные на прошлом занятии через портал SQL Azure:

Рис.5

По сравнению с обычным SQL Server набор действий, которые можно выполнять над объектами облачной базы в Object Explorer, ограничен. Например, для таблиц в контекстном меню нет пунктов Select Top ... Rows, Edit Top ... Rows, Design и т.д. Таблицу нельзя заскриптовать как ALTER, хотя команда ALTER TABLE в SQL Azure присутствует, равно как и возможность изменения других объектов. Впрочем, ее нельзя заскриптовать и как Create/Drop несмотря на то, что в меню эти пункты доступны. В SSMS 2008 R2 из-за того, что Index was outside the bounds of the array, а в SSMS 2012 - Operation not supported on version 11.0 SqlAzureDatabase. Пункт New Table открывает не графический дизайнер таблицы, а окно запроса с SQL-шаблоном создания таблицы (CREATE TABLE). Обращает на себя внимание номер версии движка облачного SQL Server. По нему, в SQL Azure уже стоит Denali, однако, сдается мне, не совсем это так:

Рис.6

В целом, SSMS, на мой взгляд, является не то, чтобы более удобным, но более привычным инструментом, чем портал SQL Azure. В связи с этим возникает вопрос: умеет ли общаться с SQL Azure не только SSMS в составе коммерческих редакций SQL Server, но и бесплатная "экспрессная"?

Рис.7

Рис.8

Ответ утвердительный:

Рис.9

Примечание 1. В SQL Azure не работает процедура sp_spaceused. Зато каждая таблица обязана быть кластерным индексом. Поэтому размер таблицы определяем, как размер ее кластерного индекса. Это та самая таблица, в которую я по-быстрому насовал блобов на прошлом занятии, чтобы превзойти максимальный отведенный базе TestDB размер в 1 гигабайт, пока SQL Azure не заметила. Таблица Категория, как мы видим, весит 3 гига, поэтому если я сейчас скажу select * from dbo.Категория, это будет а) медленно и б) накладно.

Примечание 2. При установке русской SSMS операционная система должна быть тоже русской версии или иметь установленный Multi-Language User Interface, в противном случае -

Рис.10

Еще в русской версии смущает абсолютно дебильный перевод в Download Manager. При закрытии окна закачки / нажатии кнопки Выход она спрашивает, прервать ли загрузку, несмотря на то, что та завершена на 100%.

Рис.11

Тут вздрогнет даже привычный человек, хотя в оригинале это звучит просто Do you want to exit the Download Manager.

Совершенно аналогично SSMS можно соединяться и работать с SQL Azure из остальных привычных инструментов. К ним относятся другие компоненты SQL Server: Analysis Services, Integration Services, Reporting Services, причем последние также существуют в Облаке - SQL Azure Reporting, а также вспомогательные утилиты и проекты: sqlcmd, bcp, SSMA, Data Tier Applications и т.д. К ним относятся приложения MS Office и навески к ним: Access, Excel PowerPivot и другие приложения. Например, подключение sqlcmd описано здесь:

sqlcmd -S tcp:fxv4koqar4.database.windows.net,1433 -U alexejs@fxv4koqar4 -d TestDB.

Рис.12

В принципе, все то же самое, нужно только не забыть, что логин в данном случае выглядит не просто, как логин, а как логин@имясервера.

В моем случае для начала следует слегка почистить перегретую базу, иначе обновления и добавления в нее будут невозможны, и подождать, пока SQL Azure сообразит, что место освободилось.

Рис.13

C:\Users\Administrator>set ProductName="Анисовая" Syrup

C:\Users\Administrator>sqlcmd -S fxv4koqar4.database.windows.net -U alexejs@fxv4koqar4 -d TestDB -v Category=2

Password:

1> :setvar UnitPrice 20

1> insert dbo.Продукт (ProductName, CategoryID, UnitPrice) values ('$(ProductName)', $(Category), $(UnitPrice))

2> go

(1 rows affected)

1> select * from dbo.Продукт

2> go

ProductID ProductName CategoryID UnitPrice InStockSince

----------- ---------------------------------------- ----------- ------------ ----------------

1 "Анисовая" Syrup 2 20.0000 2012-02-07

(1 rows affected)

1> exit

C:\Users\Administrator>

Способы соединения с SQL Azure перечислены в BOL - см. Поддержка драйверов, библиотек и протоколов.

При написании приложений для база данных SQL Azure можно использовать следующие драйверы и библиотеки:

Поставщик данных платформы .NET Framework для SQL Server (System.Data.SqlClient) из .NET Framework 3.5 с пакетом обновления 1 (SP1) или более поздней версии.

П��атформа Entity Framework из .NET Framework 3.5 с пакетом обновления 1 (SP1) или более поздней версии.

Драйвер собственного клиента ODBC SQL Server 2008 R2. Драйвер собственного клиента ODBC SQL Server 2008 также поддерживается, но с меньшим количеством функций.

Драйвер для PHP версии 1.1 или более поздних версий SQL Server 2008.

Обновленная версия JDBC-драйвера 3.0 для SQL Server, который поддерживает базу данных SQL Azure.

База данных SQL Azure поддерживает клиент протокола потока табличных данных версии 7.3 или более поздних версий. Более ранние версии протокола TDS не поддерживаются.

Соединение с база данных SQL Azure с помощью OLE DB не поддерживается.

Средства соединения обычно ставятся из Feature Pack или в составе клиентских утилит SQL Server, например, вместе с упоминавшейся выше SQL Server Management Studio Express - см. Рис.8.

Наряду с ограничениями по соединениям следует иметь в виду ограничения по функциональности SQL Azure по сравнению с SQL Server 2008/R2.

Отсутствие поставщика SQL Server PowerShell не означает принципиальной невозможности работы с SQL Azure из PowerShell:

cls

[string] $cnnString = "Server=tcp:fxv4koqar4.database.windows.net,1433;Database=TestDB;User ID=alexejs;Password=Tiwanaku;Encrypt=True;TrustServerCertificate=true"

[Data.SqlClient.SqlConnection] $cnn = New-Object -TypeName Data.SqlClient.SqlConnection -ArgumentList $cnnString

$cnn.Open()

[Data.SqlClient.SqlCommand] $cmd = $cnn.CreateCommand()

$cmd.CommandText = "select CategoryID, CategoryName, Description from dbo.Категория where Picture is null"

[Data.SqlClient.SqlDataReader] $rdr = $cmd.ExecuteReader()

[Data.DataTable] $dt = New-Object -TypeName Data.DataTable

$dt.Load($rdr); $dt | format-table ( @{Expression = {"{0:000}" -f $_.CategoryID}; Label = "ID"; Width = 10}, `

@{Expression = {"{0, -15}" -f $_.CategoryName}; Label = "Название"; Width = 20}, `

@{Expression = {"{0, -50}" -f $_.Description}; Label = "Описание"} )

$rdr.Close(); $cnn.Close()

Рис.14

Продолжение следует.

Алексей Шуленин

SQL Azure. Работа с базой данных из портала.

isvrus — Sun, 29 Jan 2012 17:33:00 GMT

Соединимся с базой TestDB подобно тому, как мы соединялись с БД master на Рис.6-7 предыдушего поста. Типовые задачи работы с ней сгруппированы внизу левой панели. Модный плиточный интерфейс - это первый пункт (Overview - см. Рис.1 предыдущего поста):

Рис.1

Статистика использования - Administration (см. Рис.3 предыдущего поста):

Рис.2

Мы сейчас идем в третий пункт - Design, позволяющий создавать основные объекты базы.

Рис.3

Кликаем по New Table и задаем структуру новой таблицы. Можно видеть, что форма ввода очень похожа на интерфейс табличного дизайнера в SSMS:

Рис4

После сохранения таблицы поменять признак Is Identity у колонки нельзя. Можно досоздать к ней индексы или тут же набить в нее данные, кликнув на соответствующий пункт справа от Columns:

Рис.5

В ячейках работает Ctrl-C/Ctrl-V. Ширины колонок можно менять, однако, если набить часть записей и сохранить их в таблицу, ширины колонок снова съезжают. Понятно, что этот интерфейс не будет являться основным способом ввода данных в таблицы SQL Azure так же, как никто не пользуется для этих целей, например, SSMS. Так, посмотреть, при случае, подкорректировать.

После того, как таблица создана, в режим ее редактирования можно вернуться, нажав Edit. Edit и Dependencies изначально не показываются. Чтобы они проявились, нужно навести курсор на строку с таблицей.

Рис.6

Разумеется, таблицы можно создавать при помощи оператора CREATE TABLE. Его можно выполнить, например, из запросного окна на портале (см. Рис.4 предыдущего поста), которое откроется по нажатию кнопки New Query в верхней строке меню на Рис.6. Особенностью SQL Azure является то, что каждая таблица обязана иметь custered key, т.е. быть организована в виде дерева, а не валяться бесформенной кучей. Это основополагающее ограничение, жалко, что Делани про него не пишет. Мы коснемся его в федерациях. Я так думаю.

if object_id('Продукт', 'U') is not null drop table [Продукт]

create table [Продукт] (

ProductID int identity(1, 1) primary key clustered,

ProductName nvarchar(40) not null,

CategoryID int foreign key references [Категория](CategoryID),

UnitPrice smallmoney,

InStockSince date default sysdatetime()

)

Рис.7

Если теперь кликнуть на Design в левой панели, мы вернемся в список таблиц Рис.6, обновив который (Refresh в верхнем меню), увидим только что созданную таблицу [Продукт]:

Рис.8

Еще создадим для демонстрации хранимую процедуру, при помощи которой будем добавлять записи в таблицу Категория. Кликaем на Stored Procedures. Процедура uspAddCategory будет принимать три параметра, соответствуюшие полям CategoryName, Description и Picture и состоять из тривиального оператора insert [Категория] (CategoryName, Description, Picture) values (@Category, @Description, @Picture):

Рис.9

Обратите внимание, что значение по умолчанию для параметра типа varbinary здесь задать не удается, хотя, в принципе, это ничему не противоречит. Портал SQL Azure не любит ни вводить, ни отображать значения типов binary/varbinary, в частности, он не отображает их в панели результатов.

Я планирую набить таблицу Категория блобами, чтобы размер базы TestDB достиг установленного ей максимального размера - см. Рис.2 предыдущего поста. В документации сказано, что добавление в нее новых данных становится невозможно, но старые данные остаются доступны на чтение. Мне интересно, можно ли их при этом обновлять. По логике вещей, если это апдейт in-place, который просто перетирает старое значение и не требует увеличения существующего объема за счет, например, сплита страниц, то можно. В целом, апдейт in-place может иметь место, если обновляется не-nullовое поле фиксированной длины, кластерный ключ при этом не затрагивается и ключевые поля некластерного индекса либо не затрагиваются, либо он уникален. Апдейт in-place, по определению, невозможен, если на таблицу повешен триггер или она участвует в репликации или CDC.

Можно тупо заполнить varbinary(max) константным байтом до достижения необходимой длины, но это неинтересно. Пусть лучше байты будут случайными. Случайную последовательность байт в T-SQL умеет производить CryptoAPIшная функция CRYPT_GEN_RANDOM(<длина>). Мы касались ее в посте Выбрать случайную запись из таблицы. Замечательная функция, однако входящий параметр <длина> у нее ограничен 8000 байтами. Маловато будет. Для 2008 R2 у меня была писана на ее основе UDF, которая преодолевает это ограничение:

if OBJECT_ID('ufnGenereateRandomVarbinaryMax', 'FN') is not null drop function ufnGenereateRandomVarbinaryMax

create function ufnGenereateRandomVarbinaryMax(@n smallint, @kbmb nvarchar(2)) returns varbinary(max) as begin

if @n <= 0 return null

declare @nn bigint = case upper(@kbmb) when 'КБ' then @n * 1024 when 'МБ' then @n * 1024 * 1024 else @n end

declare @MaxSize int = 8000

declare @i int = @nn / @MaxSize; declare @r int = @nn - @i * @MaxSize

declare @b varbinary(max) = cast(replicate(cast(CRYPT_GEN_RANDOM(@MaxSize) as varbinary(max)), @i) as varbinary(max))

if @r <> 0 set @b += CRYPT_GEN_RANDOM(@r)

return @b

end

select len(dbo.ufnGenereateRandomVarbinaryMax(10, 'МБ')), @@version

Рис.10

Шаблона для создания пользовательской функции в отличие от процедуры в Хьюстоне не предусмотрено, поэтому открываем на портале запросное окно, как на Рис.7, и копируем туда код создания функции из Рис.10:

Рис.11

Как в сад? Нет, я понимаю, что функция CRYPT_GEN_RANDOM() недетерминирована и все такое, но нормальному SQL Server 2008 R2 SP1 это пополам, а SQL Azure кочевряжится. Это зря она так.

Для справки: что из функциональности SQL Server 2008 не умеет SQL Azure, приведено в BOL.

Идем в пункт Design (слева внизу) -> Views (Сверху) - см. Рис.3 - и создаем новое представление по имени CRYPT_GEN_RANDOM с телом select CRYPT_GEN_RANDOM(8000) as RandomBinary8K:

Рис.12

Заменяем в пользовательской функции Рис.11 внутренние вызовы функции CRYPT_GEN_RANDOM на обращения к одноименному представлению Рис.12:

create function ufnGenereateRandomVarbinaryMax(@n smallint, @kbmb nvarchar(2)) returns varbinary(max) as begin

if @n <= 0 return null

declare @nn bigint = case upper(@kbmb) when 'КБ' then @n * 1024 when 'МБ' then @n * 1024 * 1024 else @n end

declare @MaxSize int = 8000

declare @i int = @nn / @MaxSize; declare @r int = @nn - @i * @MaxSize

declare @b varbinary(max) = cast(replicate(cast((select RandomBinary8K from CRYPT_GEN_RANDOM) as varbinary(max)), @i) as varbinary(max))

set @b += cast(left((select RandomBinary8K from CRYPT_GEN_RANDOM), @r) as varbinary(max))

return @b

end

Рис.13

Теперь, когда функция работает, открываем еще один New Query и пишем скрипт наполнения таблички Категория:

declare @Picture varbinary(max), @i tinyint = 0

while @i < 20 begin

select @Picture = dbo.ufnGenereateRandomVarbinaryMax(100, 'МБ'), @i += 1

exec uspAddCategory @Picture = @Picture

select @i as Итерация, (sum(reserved_page_count) * 8192.0) / 1024 / 1024 as [Размер базы в метрах] from sys.dm_db_partition_stats

end

select CategoryID, CategoryName, Description, Len(Picture) from [Категория]

Рис.14

Выяснилась любопытная особенность: SQL Azure не моментально обнаруживает, что база превысила отведенный ей лимит:

Рис.15

Рис.16

Работа с "перегретой" базой является нестабильной, соединение несколько раз рвется, тем не менее принципиальная возможность работы сохраняется. Интересно, как с меня в этом случае будут брать деньги: как за 3 гига или за 1? Вообще-то я создавал базу с максимальным размером в 1 ГБ и, по идее, больше этого платить не обязан.

Проходит 3-5 минут, прежде чем появляется сообщение об ошибке переполнения при попытке выполнить INSERT или UPDATE:

Msg 40544, Level 20, State 5, Line 1

The database has reached its size quota. Partition or delete data, drop indexes, or consult the documentation for possible resolutions.

Рис.17

Операторы SELECT и DELETE продолжают работать. Необходимо либо увеличить MaxSize, как показывалось на Рис.10 предыдущего поста, либо удалить лишнее, приведя БД в пределы MaxSize:

delete from [Категория] where Picture is not null

После удаления ошибка Рис.17 продолжает выдаваться еще несколько минут на попытки обновления, удаления, создания новых объектов и т.п., пока SQL Azure не сообразит, что объем пользовательских данных в базе уменьшился.

Читатели уже обратили внимание, что слева в панели под названием базы данных перечислены открытые активности: окна запросов, создания таблицы, процедуры, представления, окно статистики по базе данных. Кликнув по заголовку My Work, можно собрать их уменьшенные изображения на "рабочем столе", что позволяет, например, быстро закрыть несколько ненужных, не раскрывая их в полный размер.

Рис.18

Продолжение следует.

Алексей Шуленин

SQL Azure. Создание базы данных.

isvrus — Sat, 28 Jan 2012 12:37:00 GMT

Содержание предыдущей серии

Для создания базы в интерфейсе SQL Azure Management Portal имеется много кнопок в разных местах. Самая большая виднеется посредине внизу, если в левой верхней панели навигации по иерархии объектов встать на папку Subscriptions - см. Рис.5 позапрошлого поста. Есть иконка Create в секции Database верхней панели меню, если в дереве иерархии встать на сервер (см. Рис.11 позапрошлого поста) или на подписку, внутри которой создан хотя бы один сервер. Можно также нажать в верхнем меню на кнопку Manage в секции Server, как на Рис.12 позапрошлого поста и, оказавшись на новой странице, кликнуть на Create (Database) в верхнем меню или на плитку New database новомодного Metro-интерфейса:

Рис.1

Из большого разнообразия параметров, которые можно оговаривать при создании базы на on-premise SQL Server, здесь требуется задать всего три: название, размер и коллацию.

Показанные на рисунке коллации %_100% были введены в SQL Server 2008 (порядковый номер версии которого был 10.0), а для чего - см. статью Fernando Caro "Working with the New SQL Server 2008 Collations and Earlier Versions of the Native Data Provider".

Рис.2

Размер имеет значение, т.к. деньги за использование облачного SQL Server складываются из платы за трафик (см.позапрошлый пост после Рис.7) и размера базы, потому к его выбору следует подойти из принципа разумной достаточности, не задирая сверх необходимости. Базы данных бывают двух редакций: Web и Business. Это маркетинговая группировка максимальных размеров баз, по функциональности они не отличаются. Для Web максимальный размер базы составляет 1 и 5 ГБ, для Business - 10, 20 и т.д., как можно видеть на Рис.2. По достижении MAXSIZE возникает ошибка, и добавление новых данных в базу становится невозможно. База остается доступной на чтение. MAXSIZE можно увеличить при помощи ALTER DATABASE, если есть, куда. Плата за объем баз начисляется ежедневно и взимается в конце месяца. Дневная плата за каждую базу рассчитывается как ee пиковый размер в этот день, округленный до n ГБ, делить на кол-во дней в месяце умножить на цену 1 ГБ. В случае Web-редакции n тупо равно MAXSIZE, в случае Business - ближайшее кратное 10 ГБ (сверху). Размер базы включает пользовательские данные, индексы и объекты (хранимые процедуры, метаданные и др.) Размер не включает журнал транзакций, системные таблицы, серверные каталоги. БД master и дополнительные реплики базы (см.первый пост) также не считаются. Вообще, вопросы ценообразования будет лучше выделить в отдельный пост. Пока рекомендуется внимательно прочитать в BOL раздел Учетные записи и выставление счетов в SQL Azure. Здесь и далее я буду ссылаться на англоязычную документацию. Русские BOL по SQL Azure есть, но на момент написания данного поста переведены только сами статьи. Оглавление большей частью осталось на английском, поэтому навигация слева часто съезжает, если справа русский контент. В качестве workaround можно порекомендовать следующее. Если важно прочитать статью на русском, то в приводимых ссылках заменяйте en-us на ru-ru, а если нужно понять, в каком месте документации она расположена, то оставляйте, как есть.

На сервере SQL Azure может быть максимально 150 баз. БД master в данном случае считается, итого, пользовательских - 149. Database Quota показана на портале справа в Properties на Рис.11-12 позапрошлого поста.

Нажмем кнопку Submit, притаившуюся под комбобоксом с коллациями на Рис.2 и создадим первую базу. Появится сообщение, что database successfully created и страница со статистической информацией о созданной базе:

Рис.3

Нажмем кнопку New Query в панели меню и напишем первый запрос к нашей первой базе:

select db_name() as [База],

databasepropertyex(db_name(), 'edition') as [Редакция],

databasepropertyex(db_name(), 'MaxSizeInBytes') as [Максимальный размер],

databasepropertyex(db_name(), 'Collation') as [Коллация]

Рис.4

Как и в человеческом SQL Server, имеется команда CREATE DATABASE. Например, можно попробовать создать за компанию еще одну базу

create database [Тестовая база] collate cyrillic_general_100_CI_AS (MAXSIZE = 5 GB)

Рис.5

однако попытка выполнить ее из запросного окна Рис.4 не приведет к успеху по причине Msg 5001, Level 16, State 1, Line 1. User must be in the master database.

Сделать use master здесь нельзя, потому что Msg 40508, Level 16, State 1, Line 1. USE statement is not supported to switch between databases. Use a new connection to connect to a different Database. Команды use в SQL Azure нет. Контекст базы остается неизменным на протяжении всего пользовательского соединения. Ничего не остается, как выполнить эту команду с нового соединения. Для этого возвращаемся на Рис.4 на левую закладку в браузере, в левой верхней панели выбираем сервер, в средней нижней - БД master из списка его баз и кликаем в верхнем меню (секция Database) на иконку Manage.

Рис.6

В открывшейся новой странице соединения имя базы проставилось автоматически и поменять его нельзя. Вводим логин и пароль для открытия нового соединения.

Рис.7

Либо на Рис.6 вместо секции меню Database можно выбрать секцию Server (левее) и нажать иконку Manage в ней. Откроется окно, как на Рис.7 с той лишь разницей, что поле Database не будет заполнено автоматически. Туда нужно вбить название master руками, потом аналогично логин и пароль. Если поле Database оставить пустым, соединение на новой странице откроется и кнопка New Query в меню тоже сработает, однако что бы туда ни вводить, кнопка Run в меню запроса будет недоступной. В свое время я вокруг нее плясал с бубном, пытаясь сообразить, с чего бы это вдруг она посерела, пока не вспомнил, что не заполнил имя базы.

Рис.8

Откроется окно базы данных master. Не обращайте внимания на ошибку. Это по аналогии с Рис.3 она пытается отобразить ее свойства, и у нее не хватает прав. В смысле, это у нас их не хватает: The current user does not have VIEW DATABASE STATE permissions on this database. О правах и обязанностях мы поговорим в отдельном посте про безопасность SQL Azure, а пока нажимаем в меню кнопку New Query, как на Рис.4 и выполняем скрипт Рис.5:

Рис.9

Можно также обновить список баз на Рис.6 (в верхнем меню правая секция View, состоящая из единственной кнопки Refresh), чтобы удостовериться, что новая база создалась нормально.

Предположим, [Тестовая база] доросла до своего максимального размера, заданного ей при создании, и это не абсолютный предел размера базы в Azure (на время написания поста 150 GB). Тогда ее можно расширить при помощи команды ALTER DATABASE. Когда-то при этом требовалось указывать редакцию (SKU), сейчас достаточно указать только желаемый размер:

alter database [Тестовая база] modify (MAXSIZE=10GB)

Рис.10

Как и в SSMS, по нажатию кнопки Run выполняются выделенные операторы SQL, либо весь скрипт целиком, если ничего выделено не было. Изменение пользовательской базы, как и создание, следует производить из контекста БД master.

Представление sys.databases показывает много привычных свойств базы (Рис.9), однако синтаксис команды ALTER DATABASE говорит о том, что большинство из них доступны только на чтение и приводятся в качестве информации к философскому размышлению. Поменять их в SQL Azure нельзя:

alter database [Тестовая база] set recovery simple

-------------------------------------------------------------------

Msg 102, Level 15, State 1, Line 1. Incorrect syntax near 'set'.

Чтобы проверить, какими теперь стали максимальный размер и редакция базы Тестовая база, нужно перейти в ее контекст, т.к. в функции DATABASEPROPERTYEX(<database>, <property>) аргумент с указанием базы данных должен совпадать с текущей базой данных, в противном случае все возвращаемые значения будут равны NULL, а иного способа посмотреть свойства Edition и MaxSize ни через sys.databases, ни через какое-либо другое DMV мне неизвестно. Как мы помним, команда USE в SQL Azure не поддерживается, следовательно, для изменения контекста следует открыть новое соединение, указав БД Тестовая база в его свойствах (Рис.6-7). Выполнив запрос Рис.4 в контексте БД Тестовая база, убеждаемся, что ее размер из 1 ГБ превратился в 10 и редакция из Web - в Business.

Удаление базы производится из интерфейса портала нажатием кнопки Drop в верхнем меню, секция Database:

Рис.11

Имейте в виду один неприятный глюк, который может возникать при удалении базы через интерфейс портала. Иногда после нажатия кнопки Drop предупредительный диалог залипает (остается висеть). На самом деле база, которую вы хотели удалить, благополучно удалилась. Я удалял базу [Тестовая база], видите - на темном фоне в списке баз ее уже нет (ср. с Рис.11). Но раз диалоговое окно не пропало, я, естественно, не вглядываюсь в темноту, думаю, что первый раз плохо нажал и нажимаю еще раз. При этом удалится база TestDB, на которую в списке переместился курсор после удаления первой базы. Так можно легко и непринужденно поудалять все свои базы, и только потом спохватиться.

Рис.12

Поэтому я предпочитаю удалять базы из запросного окна (Рис.10) командой DROP DATABASE, выполнять которую также нужно из контекста БД master.

Продолжение следует.

Алексей Шуленин

SQL Azure. Программное создание сервера.

isvrus — Wed, 25 Jan 2012 08:43:00 GMT

Содержание предыдущей серии

Обогащенный этим знанием, я создам еще один сервер в датацентре Western Europe. Для разнообразия сделаем это не ручками, как в прошлый раз, а программно, как описано в BOL. Программный интерфейс управления SQL Azure основывается на REST API. Вначале нужно создать сертификат X.509, чтобы аутентифицировать наш HttpWebRequest. Создание сертификатов мы разбирали в апреле-мае прошлого года в серии постов "Шифрование трафика между SQL Server и клиентом". Очень хорошо, значит, на этом можно не останавливаться.

"C:\Program Files (x86)\Microsoft SDKs\Windows\v6.0A\bin\makecert.exe" -sky exchange -r -n "CN=SQLAzureCert" -pe -a sha1 -len 2048 -ss My "c:\Temp\SQLAzureCert.cer"

Рис.1

Добавляем в ММС оснастку сертификатов My User Account и в папке Personal находим созданный на Рис.1 сертификат. Экспортируем в файл формата Personal Information Exchange (pfx) закрытый ключ сертификата, как описано в документации на Windows Azure.

Рис.2

Рис.3

и подключаем сертификат к подписке. Для этого встаем слева на созданный сервер в предыдущем посте сервер SQL Azure, как на Рис.11, 12 предыдущего поста и кликаем Manage Certificates слева в строке меню:

На открывшейся странице жмем кнопку Add Certificate (тоже слева вверху):

Рис.3

и указываем cer-файл, созданный на Рис.1

Рис.4

Сертификат успешно добавился - он второй. Тот, что виднеется над ним, существовал ранее и не имеет отношения к нашим нынешним потугам.

Рис.5

Отлично. Теперь после добавления сертификата с открытым ключом в хранилище сертификатов подписки, мы можем программно авторизовываться на сайте управления SQL Azure https://management.database.windows.net:8443/<SubscriptionId>/servers для этой подписки при помощи парного ему закрытого ключа в файле pfx. Посмотреть ID подписки можно в ее свойствах на панели справа - см., например, Рис.7, 10-12 предыдущего поста. Создание нового сервера делается при помощи HTTPS POST-запроса. Исходными данными являются логин и пароль администратора на будущем сервере, а также датацентр, в котором он будет создан. Датацентр указывается строкой в том виде, как их названия перечислены в комбобоксе на Рис.7 предыдущего поста. В качестве ответа возвращается имя созданного сервера.

cls

[string] $login = "alexejs"; [string] $loginPwd = 'Tiwanaku'; [string] $dc = "West Europe" #Будет создан сервер SQL Azure c администратором $login c паролем $loginPwd в датацентре $dc

[string] $certFilename = 'C:\Temp\SQLAzureCert.pfx'; [string] $certPwd = 'Tenochtitlan' #Файл, в который из -pe .cer экспортнули .pfx и зашифровали его паролем $certPwd

[string] $subscriptionId = "0d292ad4-6ef9-4803-9ca9-5b1ed5e6f843"

[System.Security.Cryptography.X509Certificates.X509Certificate2] $cert = New-Object -TypeName System.Security.Cryptography.X509Certificates.X509Certificate2 -ArgumentList ($certFilename, $certPwd)

[string] $url = [System.String]::Format("https://management.database.windows.net:8443/{0}/servers", $subscriptionId)

[System.Net.WebRequest] $webRequest = [System.Net.WebRequest]::Create($url)

$webRequest.ClientCertificates.Add($cert) | Out-Null

$webRequest.Headers.Add("x-ms-version", "1.0") | Out-Null

$webRequest.Method = "POST"

[string] $queryToCreateSrv = [String]::Format('<?xml version="1.0" encoding="utf-8"?>' + `

'<Server xmlns="http://schemas.microsoft.com/sqlazure/2010/12/">' + `

' <AdministratorLogin>{0}</AdministratorLogin>' + `

' <AdministratorLoginPassword>{1}</AdministratorLoginPassword>' + `

' <Location>{2}</Location>' + `

'</Server>', $login, $loginPwd, $dc)

[byte[]] $b = [System.Text.Encoding]::GetEncoding("utf-8").GetBytes($queryToCreateSrv)

$webRequest.ContentLength = $b.Length

$webRequest.ContentType = "application/xml;charset=utf-8"

$webRequest.GetRequestStream().Write($b, 0, $b.Length)

trap [System.Net.WebException]

{

$_.Exception

(New-Object -TypeName System.IO.StreamReader -ArgumentList $_.Exception.Response.GetResponseStream()).ReadToEnd()

return

}

[System.Net.HttpWebResponse] $webResponse = $webRequest.GetResponse()

[System.IO.StreamReader] $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList ($webResponse.GetResponseStream(), [System.Text.Encoding]::GetEncoding("utf-8"))

[string] $response = $sr.ReadToEnd(); $sr.Close(); $webResponse.Close()

$response

-------------------------------------------------------------------------------------------------------------------------------

<ServerName xmlns="http://schemas.microsoft.com/sqlazure/2010/12/">efhvxkujnb</ServerName>

Рис.6

Полезная нагрузка сосредоточена в строке $queryToCreateSrv. Это XML-запрос на создание нового сервера, значениями элементов в котором являются заданные параметры: логин и пароль администратора и местоположение датацентра. Выполняем скрип, после чего можно зайти на портал, отрефрешиться и убедиться, что сервер с обведенным именем действительно создался:

Рис.7

Как всегда, самое муторное - обработка ошибок. Она реализована в блоке trap [System.Net.WebException]. Просто выводить $_.Exception недостаточно, потому что, например, ошибка (400) Bad Request может означать разные причины: <AdministratorLogin> is not a valid name because it contains invalid characters; Password validation failed. The password does not meet policy requirements because it is too short и т.д. - см. Коды состояний и ошибок в BOL. Чтобы понять, что конкретно не понравилось SQL Azure Management Service, нужно читать Response исключения: (New-Object -TypeName System.IO.StreamReader -ArgumentList $_.Exception.Response.GetResponseStream()).ReadToEnd(). Закомментарим для иллюстрации строку $webRequest.ContentType = "application/xml;charset=utf-8" в скрипте Рис.6 и попробуем его снова выполнить. Выполнение завершится с ошибкой:

The remote server returned an error: (400) Bad Request.

<Message>Invalid content-type is specified. Only application/xml is supported.</Message>

</Error>

Рис.8

Обведенная вторая (детализирующая) часть ошибки содержится в ResponseStream'e ошибочного респонса.

Продолжаем рассматривать выполнение различных действий над серверами SQL Azure при помощи REST API. Как известно, REST (Representational State Transfer) - это CRUD-операции (Create, Retrieve, Update, Delete) поверх HTTP над какими-то ресурсами, до которых при помощи этого HTTP можно доступиться. Создание нового ресурса, как правило, происходит методом POST, возвращение - GET, обновление - PUT, удаление - DELETE. Пример перечисления серверов SQL Azure, имеющихся в данной подписке:

cls

[string] $subscriptionId = "0d292ad4-6ef9-4803-9ca9-5b1ed5e6f843"

[System.Security.Cryptography.X509Certificates.X509Certificate2] $cert = New-Object -TypeName System.Security.Cryptography.X509Certificates.X509Certificate2 -ArgumentList ($certFilename, $certPwd)

[string] $url = [System.String]::Format("https://management.database.windows.net:8443/{0}/servers", $subscriptionId)

[System.Net.WebRequest] $webRequest = [System.Net.WebRequest]::Create($url)

$webRequest.ClientCertificates.Add($cert) | Out-Null

$webRequest.Headers.Add("x-ms-version", "1.0") | Out-Null

trap [System.Net.WebException]

{

$_.Exception

(New-Object -TypeName System.IO.StreamReader -ArgumentList $_.Exception.Response.GetResponseStream()).ReadToEnd()

return

}

[System.Net.HttpWebResponse] $webResponse = $webRequest.GetResponse()

[System.IO.StreamReader] $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList ($webResponse.GetResponseStream(), [System.Text.Encoding]::GetEncoding("utf-8"))

[string] $response = $sr.ReadToEnd(); $sr.Close(); $webResponse.Close()

$response

-------------------------------------------------------------------------------------------------------------------------------

<Name>efhvxkujnb</Name>

<AdministratorLogin>alexejs</AdministratorLogin>

<Location>West Europe</Location>

</Server>

<Name>fxv4koqar4</Name>

<AdministratorLogin>alexejs</AdministratorLogin>

<Location>West Europe</Location>

</Server>

</Servers>

Рис.9

Сравниваем с Рис.7 и убеждаемся, что все корректно. Единственно, я забыл в воспитательных целях явно прописать в коде $webRequest.Method = "GET", он подхватился по умолчанию.

Аналогично происходит удаление сервера. Из интерфейса портала это делается нажатием кнопки Drop в панели меню справа от Create (см., напр., Рис.7). При этом будет предложено ввести вручную название удаляемого сервера, чтобы избежать удаления по ошибке. Цена ошибки велика, т.к. сервер будет безвозвратно удален со всеми находящимися на нем базами.

Рис.10

То же можно сделать программно, отправив по адресу https://management.database.windows.net:8443/<идентификатор_подписки>/servers/<имя_сервера> HTTP-запрос с методом DELETE. Изменившиеся по сравнению с Рис.9 строчки кода показаны жирным цветом

cls

[string] $subscriptionId = "0d292ad4-6ef9-4803-9ca9-5b1ed5e6f843"

[string] $serverName = "efhvxkujnb"

[System.Security.Cryptography.X509Certificates.X509Certificate2] $cert = New-Object -TypeName System.Security.Cryptography.X509Certificates.X509Certificate2 -ArgumentList ($certFilename, $certPwd)

[string] $url = [System.String]::Format("https://management.database.windows.net:8443/{0}/servers/{1}", $subscriptionId, $serverName)

[System.Net.WebRequest] $webRequest = [System.Net.WebRequest]::Create($url)

$webRequest.ClientCertificates.Add($cert) | Out-Null

$webRequest.Headers.Add("x-ms-version", "1.0") | Out-Null

$webRequest.Method = "DELETE"

trap [System.Net.WebException]

{

$_.Exception

(New-Object -TypeName System.IO.StreamReader -ArgumentList $_.Exception.Response.GetResponseStream()).ReadToEnd()

return

}

[System.Net.HttpWebResponse] $webResponse = $webRequest.GetResponse()

[System.IO.StreamReader] $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList ($webResponse.GetResponseStream(), [System.Text.Encoding]::GetEncoding("utf-8"))

[string] $response = $sr.ReadToEnd(); $sr.Close(); $webResponse.Close()

$response

Рис.11

В случае отсутствия ошибок в имени сервера, авторизации и пр. сервер молчаливо удаляется, т.е. в респонсе не возвращается никаких результатов. Понять, что сервера не стало, можно, нажав кнопку Refresh на Рис.7 или выполнив скрипт Рис.9.

Программное обновление сервера предоставляется читателям в качестве самостоятельного упражнения в соответствии с инструкцией. Тем более, что обновлять там сейчас особо нечего, только пароль администратора. Обновление производится методом POST, как и создание, хотя по классике REST должeн быть PUT. Ну то по классике. На практике все, как всегда, перемешано. Скажем, удаление гипотетически могло бы также производиться при помощи метода POST, если в шаблон XML-запроса $queryToCreateSrv, образующего RequestStream, запихнуть какой-нибудь элемент delete.

Продолжение следует.

Алексей Шуленин

SQL Azure. Создание сервера.

isvrus — Tue, 24 Jan 2012 15:24:00 GMT

Ввиду того, что Azure напрямую от Microsoft в России все еще недоступен, вопросы заведения эккаунта и приобретения подписки мы пока для ясности опустим. Будем считать, что имеется подписка, купленная через страну с доступным Azure, или триальный эккаунт от российского представительства Microsoft или через Софтлайн или еще как-то. К примеру, у меня сейчас нет своего Azure’овского эккаунта. То есть он был, но его отобрали. Люди добрые, вы извините, что я к вам обращаюсь, нас тут несколько человек таких неместных. Спасибо Наташе Ефимцевой, которая приютила погорельцев и сделала соадминистраторами под свою подписку. Надо будет вести себя, по возможности, прилично. Заходим на сайт http://www.windowsazure.com и жмакаем Sign In в правом верхнем углу:

Рис.1

В открывшемся окне логинимся под LiveID, который обладает доступом к Windows Azure:

Рис.2

и видим, что надпись free trial на Рис.1 сменяется на manage. Жмем по ней:

Рис.3

Открывается портал Windows Azure, на котором в компактной форме сведены основные административные задачи. Из всего этого многообразия нас будет интересовать, понятно, SQL Azure, поэтому кликаем на Database в левой нижней панели:

Рис.4

Подписка Azdem169D78933B пока не имеет ни одного сервера баз данных - в левой верхней панели под ней пусто:

Рис.5

В средней панели выбираем второй пункт - Create a new SQL Azure Server. Создание сервера подробно описано в документации к SQL Azure.

Вначале указывается подписка, в рамках которой создается сервер. Это важно, т.к. существует ограничение на количество серверов в пределах одной подписки.

Рис.6

Либо вместо Рис.5 можно встать слева на подписку и кликнуть на иконку Create в меню:

Рис.7

Далее понадобится выбрать один из 6 облачных центров обработки данных Microsoft. Это тоже важно. Если имеется приложение Windows Azure, которое будет обращаться к данному серверу, нужно помнить, что в пределах одного датацентра трафик бесплатный. Между датацентрами он тарифицируется так же, как между датацентром и внешним клиентом. На момент написания это 12 центов за исходящий гигабайт для датацентров, расположенных в Европе и Сев.Америке, 19 центов - в Азии. Все входящие бесплатно.

После создания сервера изменить его местоположение нельзя. Можно только создать новый в нужном датацентре и перетащить туда базу. Но это - плата за трафик (см.выше).

Рис.7

В SQL Azure используется стандартная аутентификация. Будет предложено ввести логин и пароль администратора. Наиболее расхожие логины запрещены. Простые пароли тоже.

Рис.8

Для пущей безопасности требуется задать диапазон IP-адресов, с которых будет дозволено обращаться к серверу. Отметьте заодно галку Allow other Windows Azure services to access the server, чтобы с сервером можно было работать через SQL Azure Portal неописуемой красоты на Silverlightе. Впоследствии эти установки можно будет подкорректировать в Server Firewall Rules.

Рис.9

Жмем кнопку Finish, и наш первый сервер SQL Azure создан. Напомню, что он не связан напрямую ни с каким экземпляром SQL Server, установленными на машинах в датацентре. Я в прошлом посте писал, что он еще более нематериален, чем обычный SQL Server. Каждая база, которую мы на нем будем создавать, будет храниться в 3-х экземплярах на каких-то узлах данных в платформенном уровне датацентра. Обращение будет идти к тому узлу, где лежит первичная реплика. Если первичная реплика недоступна, SQL Azure Fabric повысит одну из вторичных реплик до звания первичной и заведет где-нибудь еще одну вторичную реплику. Первичная и вторичная реплика могут обмениваться ролями, если узел с первичной репликой перегружен, а вторичный простаивает. На каком именно физическом, если так можно выразиться, SQL Server в каждый момент времени находится первичная реплика базы, созданной на данном сервере SQL Azure, знает Master Cluster в сервисном уровне. Таким образом, сервер SQL Azure - это просто некоторая логическая точка входа.

Имя сервера SQL Azure генeрируется автоматически, является уникальным и поменять его нельзя.

Рис.10

Кликнем на созданный сервер в левой панели, зайдя в него. Обратите внимание, что вместе с сервером автоматически создалась БД master.

Рис.11

Кнопка Firewall Rules позволяет модифицировать правила, заданные во время создания сервера на Рис.9, например, добавить новый диапазон адресов, с которых будет дозволено доступаться на свежесозданный сервер.

Рис.12

Если бы мы забыли отметить галку для other Windows Azure services, она бы скоро о себе напомнила. При попытке отменеджить наш сервак, нажав кнопу Manage Server в панели меню, нам бы не удалось к нему законнектиться:

Рис.13

с ошибкой The Management Portal for SQL Azure cannot connect to server ‘fxv4koqar4.database.windows.net’. To continue, use the Windows Azure Portal to update the following firewall rule for server ‘fxv4koqar4.database.windows.net’: “Allow other Windows Azure services to access this server.” Note that it can take up to five minutes for the change to propagate through the system.

Тогда в соответствии с BOL заходим на Рис.12 и отмечаем галку.

Количество созданных серверов и максимальное количество, которое можно создать в пределах данной подписки, показаны внизу Рис.10 в правой панели - Server Count и Server Quota. С мая прошлого года стандартная подписка SQL Azure предусматривает возможность создания 6 серверов. В документации написано, что возможно расширение этого предела и для получения дополнительных сведений нужно связаться с представителем поддержки пользователей на пользовательском портале услуг Майкрософт в сети. Я связался. На Рис.1, 3 справа виднеется зеленая иконка, кликнув по которой попадаешь в чат с поддержкой. Предварительно о себе просят сообщить фамилию-имя-телефон и опционально компанию.

Рис.14

Вместо обещаной на фотке девушки оказался молодой человек, но это, пожалуй, было единственное разочарование. Интересующий вопрос мы быстро решили. Я хотел посмотреть, как работает CREATE DATABASE AS COPY OF, но, чтобы не платить за трафик между датацентрами, планировал создать второй сервер в том же датацентре, что и первый. Почему-то я решил, что сервера можно создавать из расчета 1 сервер на 1 датацентр. Наверное, заклинило на корреляцию 6 Microsoftовских датацентров - 6 серверов в квоте. Оказалось, что сервера могут произвольно распределяться между датацентрами.

Продолжение следует

SQL Azure. Введение.

isvrus — Sun, 22 Jan 2012 20:06:00 GMT

Как известно из курса диамата, движение материи во времени и пространстве происходит по спирали. Эта закономерность развития является общей, присущей всем явлениям окружающей действительности, в том числе прекрасному миру вычислительной техники, в котором нам с вами выпало счастье подвизаться. Никуда от нее не денешься (я про закономерность). Диалектика, брат (с) Шилов.

Движение в сторону облачных вычислений является новым модным веянием времени, которому все должны мы неудержимо следовать, дабы не прослыть ретроградами. Таким образом, за 30±5 лет история совершила виток, вернувшись к идее выделенных вычислительных центров, разумеется, на новом качественном уровне. Теперь не нужно переться в машинный зал с колодой перфокарт, да и где его там найти, в Облаке? Не говоря уже про перфокарты. Рассматривая персональные и облачные вычисления как противоположности, можно воочию ощутить действие закона единства и борьбы, перехода накопившихся количественных изменений в качественные и отрицания отрицания. Следует отдать должное, старина Гегель был мудрый мужик.

Когда-то давно, когда компьютеры были большие, альтернативы датацентрам попросту не было. Появление персональных компьютеров эксплуатировало низменные частнособственнические инстинкты человечества. Теперь каждый стал хозяином своих программ. Кончилось время мироеда-оператора, по настроению назначавшего приоритеты выполнения. Также сказался такой важный двигатель прогресса, как лень. Персоналки избавляли от необходимости тащиться в ВЦ, чтобы поиграться в посадку на Луну на БЭСМ-6. Все было под рукой, что в конечном счете обусловило невиданную популярность РС в полном соответствии с прогнозами экспертов. "Ни у кого не может возникнуть необходимость иметь компьютер в своем доме. Для этого нет никаких причин" (с) Кеннет Олсон (основатель и президент DEC) 1977 г. "В середине 70-х кто-то обратился ко мне с идеей, которую сейчас, наверное, можно назвать персональным компьютером. Мысль заключалась в том, что нам следовало использовать процессор 8080 вместе с клавиатурой и монитором, а затем продавать эти машины на внутреннем рынке. Я тогда спросил, для чего все это? Единственное, что я услышал в ответ, было создание кухонного компьютера для домохозяек, который хранил бы в памяти всяческие кулинарные рецепты. Лично я ничего полезного в этом не усмотрел, поэтому больше мы к этой идее не возвращались" (с) Гордон Мур (председатель совета директоров и основатель Intel). До кучи сюда же можно отнести 640К, которые должно хватить каждому - (с) не помню, кто, 1981. По мере роста памяти, процессорной мощи и аппетитов обозначились три источника и две составные части, которые стали влиять на радостную восходящую линию бурного расцвета персональных вычислений, загибая ее в виток эволюционной спирали, туда, в сторону старых добрых ВЦ. Это виртуализация, удаленная обработка данных, масштабирование и аренда необходимых мощностей + аутсорсинг непрофильных процессов. По большому счету, клиента не волнует, где, на каком сервере или серверах выполняются его запросы. Для него это выглядит как обло и стозевно чудище, куда добавляются сервера по мере надобности или выбывают на профилактику. Работоспособность системы, номенклатура и качество предоставляемых ей сервисов обеспечивается на заявленном уровне, и вся эта внутренняя кухня ему без интереса. Большое, цельное и расплывчатое, скрывающее в себе детали реализации, у кого-то из маркетологов вызвало ассоциации с облаком, хотя, возможно, это название пришло по аналогии из сетевых диаграмм, где им еще с 60-х годов обозначались внешние сервисы типа общественных коммунальных служб, которые гарантированно предоставят мусор или вывезут электроэнергию и о природе которых можно не беспокоиться. В результате на свет появилось что-то непонятное, что потребовалось для начала как-нибудь обозвать. Специалисты из берклиевской лаборатории распределенных систем напряглись и выдали: "Cloud Computing refers to both the applications delivered as services over the Internet and the hardware and systems software in the datacenters that provide those services". Как водится, возникли аналитики, превозносящие преимущества нового подхода. Абстрагируемость пользователя от управляемой извне инфраструктуры - поддержка и масштабирование приложений в компании не требует инвестиций в инфраструктуру, привлечения временнЫх и людских ресурсов. Использование технологий виртуализации делает вычислительные ресурсы автономными и взаимно независимыми. Эластичность ресурсов - возможность быстро нарастить инфраструктурную мощь без необходимости наращивания затрат на оборудование и программное обеспечение. Pay-for-play - оплата только за используемые ресурсы, например, время работы приложения, объем данных и количество операций с данными (транзакций), сетевой трафик и т.д. Форрестер нарисовал веселую картинку на манер диаграммы эволюции гомо сапиенс от dial-up, ISDN, T1, T3 через Internet Access Point servers access, racks for your equipment at Internet Access Point к hosted applications on servers at Internet Access Point и далее к dynamic Internet-optimized infrastructure for hosting your applications и SaaS. Возникли модные понятия IaaS (Amazon EC2), PaaS (Amazon S3, Microsoft Windows Azure, Google Apps), SaaS (Microsoft Office365, Google Docs) и прочие ааSы. Наученная опытом с браузером, Microsoft решила не запускать процесс, а с самого начала принять в нем деятельное участие, как обычно, постаравшись возглавить. Объективности ради следует отметить, что в 1996 г. ускорить наступление светлого будущего собирался ее лучший друг в лице Oracle, который с выходом SQL Server 6.х неожиданно для себя узнал, что у Microsoft тоже есть сервер баз данных, и это уже не Sybase. Ну, по крайней мере, не совсем. Обладая неплохим на тот момент соотношением цена-качество (сейчас-то, понятно, куда как лучше) Microsoft SQL Server стал активно выдавливать Oracle со среднего бизнеса. В качестве ассиметричного ответа тот выпустил NC (сетевой компьютер) - бездисковую (следовательно, без этих ваших Windows+Office) рабочую станцию с минимальным юниксом и Х-терминалом. Приложения скачивались по Сети и тут же запускались, т.к. устанавливать их было некуда. Однако низкие скорости интернет-соединений в то время и стремительное удешевление традиционных ПК привели к тому, что идея залезть поперед естественного хода эволюции провалилась.

Пройдет еще лет 20-30, может, меньше, и на смену концепции облачных вычислений снова придет некогда популярная идея персонального компьютинга, обогатившаяся к тому времени новыми технологическими и программно-архитектурными достижениями. Те же аналитики, которые сейчас расхваливают Облако как "эффективный инструмент повышения прибыли и расширения каналов продаж для ISV благодаря динамическому предоставлению услуг, когда можно производить оплату по факту и регулировать объем своих ресурсов в зависимости от реальных потребностей без долгосрочных обязательств", станут (если доживут) критиковать его недостатки, например, полную зависимость от провайдера облачных услуг и качества связи, и превозносить "новый тектонический сдвиг в индустрии ПО". И возвратится ветер на круги своя. Но всему свое время. Тема нашего нынешнего обсуждения - облачные базы данных, а именно - SQL Server в Облаке.

Идеологически SQL Azure наряду с Windows Azure и App Fabric является ключевым компонентом облачной вычислительной платформы Microsoft для создания и использования приложений там же, в Облаке. Первая серьезная попытка запихнуть SQL Server в Облако состоялась на 20-м году его жизни под кодовым названием проекта Sitka. Для создававшейся платформы разработки облачных приложений позарез требовался сервис хранения и обработки данных. В марте 2008 г. на конференции MIX’08 были анонсированы SQL Server Data Services. На SQL Server это тогда мало походило, поэтому 27 октября 2008 г. их переименовали просто в SQL Data Services (SDS):

Рис.1

Собственно, от SQL там тоже было мало чего. Поддерживалась нереляционная 3-уровневая модель: участник (Authority), контейнер (Container) и сущность (Entity). Authority было аналогом пространства имен, например, leshik.data.database.windows.net, где leshik – аuthority, а все остальное – адрес сервиса SDS. В аuthority входили контейнеры, а в контейнер – сущности. Контейнер являлся неким родовым понятием и определял границы операций, например, область поиска. Аналогом контейнера выступала, скорее, база данных, хотя многие уподобляли его таблице. Сущность была просто набором свойств. Каждое свойство имело имя и, соответственно, значение. Т.е. аналогом из .NET Framework выступал Dictionary в смысле набора пар Key/Value. Аналогом в БД для свойства являлось поле, а сущности – запись. Имелось еще такое понятие, как эккаунт. Он выступал единицей биллинга, т.е. на него выставлялся счет за пользование услугами. Эккаунт мог иметь много authorities. Каждому эккаунту поначалу выдавалось 20 мегабайт обычных сущностей на контейнер и 500 мегабайт блобовских. По осени на РDC'08 ограничения ослабили до, соответственно, 100 МБ и 1 ГБ. Давалось 50 гиг места на все authorities и 1000 контейнеров на authority. Поддерживался неSQLный язык запросов, по своему синтаксису очень напоминающий LINQ. Программный доступ для операций создания, чтения, обновления, удаления происходил через протоколы REST:

Рис.2

или SOAP:

Рис.3

При одновременной работе нескольких пользователей поддерживались оптимистичные блокировки:

Рис.4

Имелась утилита навроде bcp, позволявшая загружать в SDS XML-файлы вида

<Customer xmlns:s="http://schemas.microsoft.com/sitka/2008/03/"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xmlns:x="http://www.w3.org/2001/XMLSchema">

<s:Id>ALFKI</s:Id>

<CompanyName xsi:type="x:string">Alfreds Futterkiste</CompanyName>

<ContactName xsi:type="x:string">Maria Anders</ContactName>

<ContactTitle xsi:type="x:string">Sales Representative</ContactTitle>

<Address xsi:type="x:string">Obere Str. 57</Address>

<City xsi:type="x:string">Berlin</City>

<Country xsi:type="x:string">Germany</Country>

</Customer>

<Customer xmlns:s="http://schemas.microsoft.com/sitka/2008/03/"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xmlns:x="http://www.w3.org/2001/XMLSchema">

<s:Id>ANATR</s:Id>

...

так что перенос таблицы с on-premise SQL Server в Облако требовал предварительного выполнения SQL-запроса вида

Рис.5

результат которого уже подавался на вход утилите загрузки:

Рис.6

Все это благополучно просуществовало до марта 2009 г. и было похоронено на очередной конференции MIX, где объявили, что вместо АСЕ станет поддерживаться привычный реляционный облик БД, вместо запросов SLINQ - Т-SQL, а вместо доступа по REST и SOAP - доступ по протоколу TDS. Таким образом, работа с SQL Server в Облаке будет мало чем отличаться от работы с локальным SQL Server. 1 февраля 2010 г. считается официальной датой рождения SQL Azure в ее нынешнем виде. В этот день официально состоялся переход от СТР к коммерческой эксплуатации в виде двух SKU (редакции Web и Business, отличающиеся размерами БД) - была объявлена полная поддержка SLA в 21 стране. 17 февраля вышел SQL Azure Service Update (SU) 1, в котором была добавлена поддержка миграции между редакциями - ALTER DATABASE ... MODIFY (MAXSIZE = ... GB) | (EDITION = 'web' | 'business'), добавлена поддержка DMV sys.dm_exec_connections, sys.dm_exec_requests, sys.dm_exec_sessions и др., улучшен алгоритм прекращения излишне затянувшихся транзакций, Idle Connection Timeout (время бездействия соединения, по прошествии которого оно считается дохлым и отрубается) увеличено с 5 до 30 мин. 16 апреля 2010 г. в SQL Azure была добавлена функциональность Multiple Active Resultsets (MARS) и поддержки Data-Tier Applications (DAC). 25 июня в составе SQL Azure SU3 была добавлена поддержка геопространственных типов и HierarchyID, а также увеличен максимальный размер базы данных в бизнес-редакции - с 10 до 50 гигабайт. 21 июля вышел CTP1 проекта Хьюстон - легковесного средства администрирования и написания запросов к БД SQL Azure через Веб, которое не требует установки специальных клиентов/технологий, кроме Silverlight. 12 августа появился очередной СТР проекта Даллас - DataMarket-секции Windows Azure Marketplace, которая включает данные, изображения, веб-сервисы от различных поставщиков и открытых авторитетных источников, предоставляющих наборы данных по демографии, окружающей среде, финансам, статистике, погоде, спорту и др. с доступной поверх аналитикой. 24 августа в составе SU4 была добавлена функциональность Database Copy - CREATE DATABASE destination_database_name AS COPY OF [source_server_name.]source_database_name - асинхронное создание полной копии базы данных на этом же или ином сервере SQL Azure. 22 октября в SU5 была добавлена поддержка практически всех запросных хинтов, что и в on-premise SQL Server, Error Messages, sp_tableoption. 28 октября на keynote сессии PDC 2010 было объявлено, что в Облако переезжают службы отчетности, а также СТР2 утилиты двусторонней синхронизации между on-premise и облачной БД SQL Azure Data Sync. 2011-й год прошел относительно спокойно. В майском обновлении появилась возможность иметь несколько серверов на подписку (коснемся в следующем посте) и REST API для задач администрирования (разберем его через пост). Продолжали допиливать облачный репортинг, синхронизацию, портал управления и другие инструменты, обеспечивая симметричность с Денали, который вначале собирались назвать SQL Server 2011, но передумали и назвали SQL Server 2012. Столько новшеств, что за три года никак не управиться. В SQL Azure существенные новшества произошли под занавес года - в традиционном сервис-релизе, приуроченном к PDC. Новый метро-стиль Database Management Portal (модный плиточный интерфейс а ля Windows 8, Windows 7 Phone и др.) способен резко повысить производительность и эффективность. Сейчас плитка это вообще очень круто и актуально, практически, как нано. У нас вот давеча тоже везде выламывали асфальт и укладывали плиткo. Ну и по мелочи в SR Q4 еще вошлo увеличение максимального размера базы до 150 ГБ и горизонтальное масштабирование облачного SQL Server (шардинг), позволяющее "размазывать" базу данных по федерации серверов - то, чего пока так и не научился делать on-premise SQL Server.

Обращаться к облачному SQL Server можно как из приложений Windows Azure, так и из on-premise приложений, для которых работа с ним практически не отличается от работы с обычным SQL Server. SQL Azure функционирует во всех 6-ти облачных датацентрах Microsoft: North-central US (Chicago, IL); South-central US (San Antonio, TX); North Europe (Dublin, Ireland); West Europe (Amsterdam, Netherlands); East Asia (Hong Kong); South East Asia (Singapore). SQL Azure продается в виде подписки и не существует в виде коробки, лицензии, набора открытых технологических инструкций, которые бы позволили развернуть подобную вещь в частном облаке. Я не буду останавливаться подробно на внутреннем устройстве SQL Azure, потому что, во-первых, с практической точки зрения оно представляет сугубо общеобразовательный интерес. Влиять на него все равно нельзя, остается воспринимать как данность. Возможности администратора базы данных SQL Azure существенно ограничены по сравнению с обычным SQL Server и концентрируются, в основном, на логических задачах. Собственно, за это и боролись - как мы помним, одна из основных идей Облака состоит в снижении административных издержек. Мы рассмотрим типовые задачи администрирования SQL Azure в последующих постах. Во-вторых, лучше Kalen Delaney вопросы внутреннего устройства SQL Server мало кому удается осветить, поэтому за подробностями отсылаю к ее статье Inside SQL Azure. Архитектурно SQL Azure можно представить в виде слоеного пирога из 4-х уровней: клиентского, сервисного, платформенного и инфраструктурного:

Рис.7

С позиций СУБД основным является платформенный уровень. Он состоит из SQL Server, SQL Azure Fabric и Management Services. Физически это много однородных машин, каждая из которых согласно Делани (не путать с Денали) имеет 8 ядер, 32 гига памяти, 10-12 SATA дисков и гигабитную сетевую карту. На каждой установлен экземпляр SQL Server, основанный на движке 2008 R2. Ключевое слово здесь - основанный, т.е. он не является точной копией SQL Server Standard или Enterprise, с которым привычно иметь дело. Мне сложно назвать обычный SQL Server физическим, потому что его, как и любую программу, нельзя потрогать руками. Но сервер, который мы создаем перед созданием баз, заходя в SQL Azure, является еще более нематериальным. Это просто TDS endpoint:

Рис.8

Соответственно, нужно провести разделение между логической с точки зрения пользователя и физической базой, как это выглядит с точки зрения SQL Server. На каждой ноде создается одна физическая база, в которой лежат базы разных пользователей. которые у Делани называются партициями. Очевидно, что они не имеют общего с партиционированием таблиц и индексов. При внимательном прочтении возникает другой вопрос. Делани пишет, что физическая БД может содержать до 650 партиций. Тогда средний размер диска должен составлять 650 * 150 / 10 = 9750 ГБ. А ведь из них наверняка какой-никакой RAID сделан. Либо спецификация устарела, либо админы SQL Azure пользуются тем, что не у всех еще базы выросли до 150 гиг и комбинируют их с мелкими, либо под партицией понимается не база, а ее кусок, даже когда речь не идет о шардинге. Хотя у Делани явно сказано, что each partition contains one SQL Azure client database, either a primary or secondary replica. Как бы то ни было, без какого-либо участия с нашей стороны партиция автоматически реплицируется еще в две физические базы (понятно, на других серверах).

Рис.9

На данный момент все три реплики живут в пределах одного центра обработки данных, поэтому если мы создадим базу, например, в Гонконге, а из Южно-Китайского моря вылезет Годзилла и сожрет тамошний датацентр, база будет гарантированно потеряна. Но поскольку по статистике Годзиллы выползают редко, считается, что SQL Azure обеспечивает высокую доступность в размере 99.9%. Созданием реплик, назначением, кто из них будет первичной, а кто вторичными, и автоматическим failover (промоутить вторичную до первичной, если та сдохла, завести новую вторичную и т.д.) занимается SQL Azure Fabric. Пользовательские операции чтения-записи выполняются против первичной реплики и асинхронно распространяются на остальные. Транзакция фиксируется по кворумному принципу, как при синхронном мирроринге. Коммит происходит, если первичная реплика и одна из вторичных подтвердили запись в свои журналы транзакций. В документации написано, что SQL Azure Fabric еще отвечает за балансировку нагрузки. От этого случается когнитивный диссонанс, потому что какой, в самом деле, load balancing, если только что говорилось, что аll your request are served by only one instance, and the other replicas are for reliability and durability? На самом деле, Load Balancer uses a just in time methodology by selecting the location of the primary and secondary replicas of a new database based on current load on nodes within a cluster, что означает, что если нода становится перегруженной, первичная реплика перемещается на другую. Самый простой способ это сделать - переключить первичную реплику с одной из вторичных, если машина со вторичной репликой загружена меньше. В платформенном уровне остается еще компонент Management Services. Он отвечает за мониторинг здоровья data nodes, накатку на них патчей, вообще автоматическую инсталляцию.

Непосредственно над платформой располагается сервисный уровень, главной задачей которого является маршрутизация соединений, т.е. привязывание пользовательских хотелок с конкретными физическими серверами уровня платформы.

Рис.10

Под кластерами здесь понимаются группы машин с одинаковой ролью. Узлы из группы Master Cluster обладают знанием о том, на каких физических серверах хранятся реплики, соответствующие той или иной пользовательской базе, убеждаются в том, что все реплики дееспособны и каждая партиция имеет положенное количество реплик. Кроме этого, в функции сервисного уровня входит биллинг.

Самым нижним уровнем является инфраструктурный. Он используется совместно различными сервисами центра обработки данных, обеспечивая администрирование аппаратной части и операционных систем. Самый верхний - уровень клиентского приложения на ASP.NET, C#, VB, Powershell, PHP, Ruby и т.д. обращающегося к SQL Azure посредством ADO.NET или ODBC. Оно может располагаться в Windows Azure или вне датацентра Microsoft. Клиентский API инициирует TDS-соединение к SQL Azure на порт 1433, которое маршрутизируется сервисным уровнем к соответствующему экземпляру SQL Server на уровне платформы.

Продолжение следует.

Доклад с TechEd

isvrus — Wed, 07 Dec 2011 05:23:00 GMT

SQL Server 2012 – новая комплексная платформа управления данными предприятия и повышения эффективности бизнеса.

В связи с нареканиями к записи прошу прощения и прилагаю презентацию. Пусть слабым утешением послужит, что techdays.ru для меня тоже давняя головная боль.

То, что обозначено на techdays под моим авторством - это презентации с различных конференций, которые записываются во время выступлений. Технический процесс записи и публикация происходит без непосредственного участия докладчиков. Иногда качество записи оставляет желать..Например, доклад по SQL Server 2008R2 с конференции Платформа-2011 из-за неудовлетворительного качества записи получил на сайте techdays рекордно низкую оценку, которую неприятно видеть против своей фамилии.

Перезаписывать означает тратить свое время на исправление чужих ошибок. Я предпочитаю готовить материал в виде статей. Это более затратно с точки зрения авторства, но удобнее для восприятия. Лучше одному потратить, а тысяче сэкономить. Когда надо найти интересующий момент, просматривать часовой каст - неоправданная роскошь. В текстовом варианте сподручнее и быстрее.

Алексей Шуленин

Проверка Windows Azure-приложений с помощью MPR Test Tool

isvrus — Thu, 24 Nov 2011 11:33:44 GMT

Microsoft Platform Ready (http://www.microsoftplatformready.com/) – это программа, предназначенная для того, чтобы предоставить компаниям, создающим программные продукты, ресурсы по разработке, тестированию и продвижению своих решений. Для того, чтобы воспользоваться предлагаемыми в рамках этой программы ресурсами, нужно выполнить ряд простых действий – зарегистрироваться на портале, используя Windows Live ID, указать персональные данные и данные о компании, а также добавить информацию об одном или более приложении, которые будут тестироваться. Регистрация на портале и успешное тестирование приложений могут помочь в достижении совместимости продуктов с платформой Microsoft, получении логотипов о совместимости, достижении компетенций Microsoft Partner Network и т.п.

Выпущенная недавно новая версия средства тестирования - Microsoft Platform Ready Test Tool (MPR Test Tool) – содержит расширенные тесты для проверки приложений, использующих сервисы платформы Windows Azure и SQL Azure и позволяет как убедиться в корректности работы приложения, так и получить для него логотип Powered by Windows Azure. Ниже мы рассмотрим использования этого средства тестирования более подробно.

Подготовка к использованию MPR Test Tool

Прежде чем воспользоваться средством тестирования MPR Test Tool необходимо выполнить ряд подготовительных действий. Предполагается, что у вас есть доступ к порталу Windows Azure (https://windows.azure.com/default.aspx), есть активированная учетная запись (Azure Account ID) и развернутое в «облаке» приложение, которое использует сервисы Windows Azure и/или SQL Azure. Вот действия, которые необходимо выполнить:

1. Зарегистрировать на портале Microsoft Platform Ready приложение, которое будет тестироваться. Регистрация состоит из заполнения формы, в которой указываются сведения о приложении – название, версия, тип инфраструктуры и т.п. и выбираются тесты для приложения. В нашем случае следует выбрать Windows Azure Platform (Windows Azure, SQL Azure & App Fabric) и указать два дополнительных параметра – дату коммерческой доступности приложения и идентификатор учетной записи в Windows Azure (Azure Account ID или «Код подписки» при использовании локализованной версии портала Windows Azure).

2. После того как приложение отпрофилировано, следует нажать кнопку «Начать» и на странице «Мой MPR» выбрать тестируемое приложение и платформу – в нашем примере это Windows Azure.

3. Далее следует перейти на вкладку «Тест» и выбрать опцию «Протестировать мои приложения»

4. Здесь предоставляется доступ к загрузке средства тестирования MPR Test Tool – в зависимости от используемой вами платформы Windows выберите либо 32-битную, либо 64-битную версию утилиты

5. После загрузки и установки MPR Test Tool мы готовы к тестированию нашего приложения

6. Обратите внимание на идентификатор приложения, отображаемый в нижней части экрана (в данном примере – 227624). Он потребуется при создании т.н. «пакета отчетов» (reporting package) на завершающей стадии тестирования нашего приложения.

Данные, необходимые для тестирования приложения

Для того, чтобы успешно пройти тестирование с помощью MPR Test Tool нам потребуются следующие данные о тестируемом приложении:

Для Windows Azure

Идентификатор учетной записи в Windows Azure (Subscription ID или «Код подписки» при использовании локализованной версии портала Windows Azure)
Физический адрес сервера
Местонахождение файла сертификата Management Certificate (на локальном компьютере)
Адрес приложения
Имя сервиса
Местонахождение SSL-сертификата

Для Windows Azure Storage

Идентификатор учетной записи хранилища (Storage Account Subscription ID)
Ключ доступа (Storage Account Key)
Имя хранилища (Storage Account Name)

Для SQL Azure

Имя сервера
Имя пользователя
Пароль

Все эти данные (за исключением местонахождения локальных «ответных» частей сертификатов) могут быть получены на портале Windows Azure. Более подробно о портале см. «Знакомимся с порталом Windows Azure»

Тестирование с помощью MPR Test Tool

После запуска средства тестирования MPR Test Tool появится экран с тремя опциями – начать тест (Start New Test), продолжить тест (Resume Test) и посмотреть отчеты (Reports). Для целей нашего упражнения выберем опцию «Новый тест».

На следующем экране нужно указать название теста (поле Test Name) - оно может совпадать с названием тестируемого приложения и выбрать платформы и технологии для тестирования. В нашем случае это будут SQL Azure и Windows Azure.

На следующем экране мы указываем данные о нашем приложении – отдельно для Windows Azure, отдельно – для SQL Azure.

Здесь мы используем данные, описанные в разделе «Данные, необходимые для тестирования приложения».

Когда все готово, проверяем, что данные введены корректно.

После успешного ввода данных необходимо протестировать наше приложение, выполнив в нем максимальное число задач и убедиться в том, что приложение работает. По завершении тестирования нужно включить опцию, подтверждающую успешное завершение тестирования – Confirm that all primary functionality testing of your application has been completed.

Если все действия выполнены корректно, на экране с результатами выполнения тестов будет показан их статус.

В случае возникновения каких-либо проблем, они будут отражены в созданном средством тестирования отчете. В случае успешного прохождения тестов мы получаем отчет, который располагается в локальном каталоге

Далее следует создать пакета отчетов – для этого на главном экране средства тестирования нужно выбрать опцию Reports и загрузить этот пакет на портал Microsoft Platform Ready. Сначала мы выбираем отчеты, которые мы хотим включить в пакет отчетов – в нашем примере – это Windows Azure и SQL Azure.

Затем мы указываем название приложения и его версию, после чего – имя пакета отчетов, идентификатор приложения (отображается на вкладке тестирования на портале Microsoft Platform Ready) и подписываем лицензионное соглашение об использовании логотипа Powered by Windows Azure – указываем полное имя и адрес электронной почты.

Последний шаг – загрузка пакета отчетов на портал Microsoft Platform Ready. В поле «Файл с результатами тестирования» мы копируем полный адрес файла, взятый из строки Test Results Package Location средства тестирования MPR.

Мы успешно протестировали наше приложение и теперь можем использовать логотип Powered by Windows Azure для его продвижения.

/АФ

SQL Server 2012 RC0

isvrus — Mon, 21 Nov 2011 05:46:00 GMT

В соответствии с планом выпуска следующей версии SQL Server 18 ноября 2011 года выложен для ознакомления Release Candidate, который является более устойчивым и функционально полным по сравнению с вышедшим 12 июля СТР3. Скачать SQL Server 2012 (“Denali”) RC0 можно здесь.

Алексей Шуленин

Windows Azure. Новинки ноября 2011

isvrus — Tue, 15 Nov 2011 12:08:44 GMT

В ноябре 2011 года были выпущены следующие обновления для платформы Windows Azure - Windows Azure SDK for .NET версии 1.6 (новое название Windows Azure SDK), Windows Azure HPC Scheduler SDK и версия Windows Azure Platform Training Kit, которая включает ряд новых и расширенных модулей, отражающих изменения в Windows Azure SDK for .NET версии 1.6.

Windows Azure SDK for .NET 1.6

Windows Azure SDK for .NET – это набор программных компонентов, предназначенных для создания и развертывания приложений на платформе Windows Azure. В состав обновленной версии (ноябрь 2011) года входят следующие компоненты:

Собственно Windows Azure SDK for .NET – 32- и 64-битная версия
Эмулятор Windows Azure – 32- и 64-битная версия
.NET-библиотеки для Windows Azure – 32- и 64-битная версия
Набор расширений для Visual Studio 2010

Рис. Компоненты Windows Azure SDK for .NET

Адрес для загрузки и установки всего набора средств, включенных в состав Windows Azure SDK: http://www.microsoft.com/windowsazure/sdk/. Для ручной установки компонентов Windows Azure SDK for .NET воспользуйтесь следующей ссылкой. Ниже мы рассмотрим ключевые изменения в компонентах Windows Azure SDK for .NET.

Набор расширений для Visual Studio

Набор расширений для Visual Studio 2010 (Windows Azure Tools for Visual Studio 2010) пополнился следующей функциональностью:

Возможность загрузки данных учетной записи из портала Windows Azure (см. ниже)
Публикация проектов. Упрощено соединение среды разработки с Windows Azure за счет нового файла настроек публикации, связанного с учетной записью в Windows Azure. Это позволяет сконфигурировать все аспекты развертывания, включая настройки доступа через Remote Desktop (RDP) непосредственно из Visual Studio
Множественные профили – настройки публикации, конфигурации для процесса сборки проекта и другие настройки сохраняются в файлах MSBuild, что упрощает изменение всех настроек среды разработки, сборки и публикации проектов на Windows Azure
Поддержка TeamBuild. В Windows Azure Tools for Visual Studio 2010 реализована поддержка создания пакетов развертывания через MSBuild с возможностью передачи необходимых параметров. При необходимости, средства сборки пакетов развертывания могут быть установлены на выделенном компьютере – установка Visual Studio в этом случае не требуется
Расширенный мастер публикаций. Объединяет все необходимые шаги – от задания параметров учетной записи до конфигурации развертывания и получения списка внесенных изменений
Автоматическое управление сертификатами – более не требуется вручную создавать и управлять сертификатами
Управление развертыванием в несколько подписок – упрощено использование нескольких подписок на Windows Azure за счет возможности выбора подписки при публикации проектов из Visual Studio
Создание нового сервиса – возможность создания нового сервиса непосредственно из Visual Studio без необходимости в использовании портала Windows Azure
Учетные записи хранилища – возможность создания и конфигурации учетных записей хранилища прямо из Visual Studio
Упрощенный доступ через Remote Desktop – больше не нужно создавать и загружать сертификаты
Управление несколькими настройками развертывания
Более подробная информация о процессе публикации и инициализации виртуальных машин

Библиотеки Windows Azure Libraries for .NET 1.6

В библиотеках для .NET появились следующие улучшения и изменения:

Поддержка Service Bus и Caching – клиентские библиотеки, ранее входившие в состав Windows Azure AppFabric SDK, обновлены и включены в состав Windows Azure Libraries for .NET
Сервисы хранилища Windows Azure. Добавлены методы GetServiceSettings() и SetServiceSettings() для управления настройками для бинарных объектов, очередей и таблиц, включая настройки аналитики для хранилища Windows Azure
Очереди – реализована поддержка методов UpdateMessage() - для обновления содержимого сообщения и изменения времени его «невидимости»), AddMessage () - для управления «видимостью» сообщения) и SetMessageContent() - для задания содержимого сообщения, а размер сообщения увеличен с 8 до 64 Кбайт

Эмулятор Windows Azure

Улучшена производительность эмулятора вычислительных сервисов и эмулятора хранилища Windows Azure. Утилита командной строки DSInit теперь запускается во время установки SDK для того, чтобы первый пуск эмулятора хранилища происходил быстрее. Эмулятор хранилища Windows Azure теперь поддерживает новейшую версию сервисов хранилища (08-11-2011) и содержит следующие расширения:

поддержка увеличенного размера сообщений в очереди – до 64 Кбайт
поддержка нового формата заголовка для задания диапазонов в бинарных объектах при использовании метода GetBlob()
поддержка таймаута «видимости» сообщения в очереди для метода PutMessage()

О совместимости SDK c версиями гостевых операционных систем, доступных в Windows Azure, см. http://msdn.microsoft.com/en-us/library/windowsazure/
ee924680.aspx.

Установка Windows Azure SDK for .NET

Рассмотрим процесс установки Windows Azure SDK for .NET. Перейдем на сайт по адресу http://www.microsoft.com/windowsazure/sdk/ и нажмем кнопку «Get the SDK».

После загрузки основных компонентов появится диалоговая панель Web Platform Installer 3.0, в которой будут перечислены те компоненты, которые будут установлены в рамках установки Windows Azure SDK for .NET.

Рис. Установка SDK через Web Platform Installer

Для получения более подробной информации следует нажать ссылку «Items to be Installed» в нижней левой части экрана.

Рис. Список устанавливаемых компонентов

Нажатие кнопки «Install» на основном экране Web Platform Installer приводит за запуску процесса установки компонентов Windows Azure SDK for .NET. Непосредственно перед самой установкой вам нужно будет подтвердить то. Что вы согласны с лицензионными правилами продуктов и компонентов Microsoft – для этого в показанной ниже диалоговой панели следует нажать кнопку «I Accept».

Установка состоит из двух этапов – загрузки компонентов (адреса загрузки каждого компонента можно посмотреть в списке устанавливаемых компонентов, показанном выше)

Рис. Загрузка компонентов

и последующей установки этих компонентов.

Рис. Установка компонентов

По завершении процесса установки отображает панель, в которой перечислены установленные компоненты Windows Azure SDK for .NET.

Рис. Завершение процесса установки

Использование мастера публикаций

Ниже мы рассмотрим использование нового мастера публикаций (Publish Windows Azure Application Wizard), включенного в состав Windows Azure Tools for Microsoft Visual Studio 2010.

Первый шаг, который необходимо сделать – это подключиться к порталу Windows Azure, ввести данные учетной записи и сохранить файл в формате <Имя><Дата>-credentials.publishSettings на локальный диск. В этом файле будет находиться сертификат управления, который позволит Visual Studio выполнять действия с Windows Azure от вашего имени, а также идентификатор подписки. Файл настроек имеет тот же формат, что и файл настроек WebMatrix.

Теперь запустим Visual Studio, создадим новый проект, выберем тип проекта Cloud и добавим к нему веб-роль. После этого в Visual Studio в окне Solution Explorer выберем нашу веб-роль и нажмем на ее названии правую кнопку «мыши». Выберем команду «Publish to Windows Azure».

В диалоговой панели Publish Windows Azure Application мы выбираем подписку, в рамках которой будет происходить развертывание нашего приложения. Для этого следует нажать кнопку «Import» и выбрать ранее сохраненный файл *. publishSettings.

Нажатие кнопки «Next» приводит нас к панели настроек, где мы можем выбрать контейнер (hosted service) для публикации нашего приложения или создать новый, а также выбрать ряд других конфигурационных настроек.

Также здесь можно выбрать включение доступа через Remote Desktop и указать имя/пароль для удаленного подключения. Как мы отметили выше, создание отдельного сертификата не требуется.

Нажатие кнопки «Next» приводит нас к экрану, на котором показаны все настройки и имеется возможность их сохранения в новом профиле.

Если все нас устраивает, нажимаем кнопку «Publish» для публикации нашего приложения в Windows Azure.

Как мы отметили выше, теперь предоставляется более детальная информация о публикации проекта в Windows Azure:

Windows Azure Training Kit

В состав Windows Azure Platform Training Kit входят технические материалы – презентации, практические лабораторные работы и примеры кода, которые должны помочь разработчикам в освоении платформы Windows Azure.

В ноябрьское обновление входят следующие новые и обновленные материалы:

Новый демонстрационный пример: Publishing Cloud Applications with Visual Studio
Обновленные лабораторные работы и примеры: Использование новых возможностей Window Azure SDK & Tools 1.6
Обновленные презентации по SQL Azure

Адрес для загрузки: http://www.microsoft.com/download/en/details.aspx?id=8396

Windows Azure HPC Scheduler SDK

Выпущенный одновременно с Windows Azure SDK for .NET, набор программных компонентов Windows Azure HPC Scheduler SDK содержит средства для разработчиков, создающих приложения с интенсивными вычислениями, параллельным выполнением кода – такие приложения могут хорошо масштабироваться на платформе Windows Azure. С помощью Windows Azure HPC Scheduler SDK можно создавать проекты на Windows Azure, которые:

Поддерживают выполнение задач по расписанию (Job scheduling) и управление ресурсами
Используют получение задач через веб
Требуют поддержки параллельных вычислений на основе MPI-приложений и сервисов WCF
Сохраняют состояние для очередей задач и конфигураций ресурсов

Адрес для загрузки: http://go.microsoft.com/fwlink/?LinkId=231893

Примеры кода: http://go.microsoft.com/fwlink/?LinkId=231894

Документация http://go.microsoft.com/fwlink/?LinkId=230982

/АФ