MOCKALb's BLOG

Стратегия заливки данных для сценариев типа: Data Warehouse

2009-04-07T15:08:00Z

Немного саморекламы J На сайте SQLCAT.COM опубликована статья «Bulk Loading Data into a Table with Concurrent Queries» Документ описывает некоторые интересные наблюдения, связанные с использованием хинта TABLOCK и Read Committed Snapshot Isolation в сценариях Data Warehou se ( особенность этого сценария – большое количество конкурентных чтений)...(read more)

Передача параметров в Execute Task или как мы до этого доехали.

2009-04-02T17:11:00Z

<Disclaimer: вероятно этот пост будет в последующем редактироваться. Пока публикуется так, как он есть> Как это полагается в старинных былинах, начну издалека.. Подготовка эксперимента, постановка задачи и т.д. Экспериментируя с разными задачами, вдруг наткнулся на интересную идею – надо бы организовать параллельную выкачку данных из таблицы в одном ресурсе в таблицу на другом. Фактически, это ситуация, которая достаточно часто встречается в разного рода проектах: есть временная «куча», куда...(read more)

вышел SQL Server 2008 CTP6.

2008-02-20T11:59:00Z

Вышел СТР6 SQL Server 2008 . Что можно сказать интересного? В принципе, вся основная функциональность, которая должна будет присутствовать в финальной версии – уже представлена в СТР. Т.е. по хорошему, можно уже тестировать с прикидкой на то, как продукт «впишется» в работающую уже схему/решение. Ах да, еще важно, что этот СТР на днях можно будет посмотреть и на русском языке. В двух словах о том, что добавлено из функционала: 1) iFTS – новых поисковый движок. Очень интересно будет посмотреть, как...(read more)

SQL Server 2005: масштабируемость решений с помощью контентно-зависимой маршрутизации.

2007-11-23T16:30:00Z

SQL 2005: масштабируемость решений с помощью контентно-зависимой маршрутизации. Начну сей творческий труд с пары оговорок: 1) Оригинальная тема, возможно, называется несколько иначе. Английское название технологии звучит так: Scaling out with Data Dependant routing . Термин “ Scale Out ” сам по себе является достаточно интересным событием: исходя из перевода, это должно означать что-то типа уменьшения масштаба. Ну, когда, все вещи становятся меньше, так сказать, видны с высоты птичьего полета. По...(read more)

Вышел СТР4 SQL Server 2008, он же CTP July

2007-08-01T17:15:00Z

Для желающих ознакомиться ссылка: https://connect.microsoft.com/SQLServer/content/content.aspx?ContentID=5395 (Не забудьте зарегистрироваться, если еще этого не сделали :) А так же, грядут презентации по новым и не сильно возможностям продукта. Enterprise Scale Reporting Engine 08/15/07 AS Time Series Stability 08/17/07 New Datetime Data Type 08/21/07 Database Mirroring Enhancements 08/24/07 Ordpath For SQL Server 08/28/07 Всем удачи, не забывайте слать баги и вопросы. Буду разбираться, напишу о...(read more)

CTP3: DMF. Продолжаем изучение. Группы политик и дачный сезон

2007-06-29T15:47:00Z

Продолжение изысканий. После того, как простой пример по запрещению написания неправильных слов на заборе окончился успехом, пришла в голову идея посмотреть, что же такое «пользовательские группы». Принцип работы политик и групп примерно такой: мы на даче. У всех «правильных» садоводов- любителей на даче водятся всякие гвозди, шурупы, лопаты, молотки, топоры, веревки для подвязки, шланги, семена и т.д. Ну не валяется же это все по территории? У хорошего дачника есть банка с гвоздями ( где только...(read more)

Еще один обзор DMF. На этот раз от Николая Денищенко

2007-06-26T15:48:00Z

Достаточно красочно и понятно и абсолютно академично Николай Денищенко описал результаты своих исследований DMF. Наслаждайтесь :) Приятно, что ширится круг людей, начинающих разбираться с SQL 2008...(read more)

СТР 3: Declarative Management framework. Пример

2007-06-20T15:40:00Z

Возьмем простую задачу: необходимо запретить все имена таблиц, которые начинаются на Test.

Для этого необходимо создать условие, которое будет проверять: имя таблицы не равно «Test%».

Для этого в Management Studio:

1. Идем в Policy Management, правой кнопкой кликаем на Conditions и говорим: New Condition.

2. В открывшемся окне Create New Condition в поле Name говорим: Table Name Condition .

3. В поле Facet выбираем Multipart Name Facet.

4. В поле задания условия (Expression) в Field выбираем: Name;

В поле Operator: NOT Like; в поле Value пишем Test%

В поле описания можно сказать: The table name should not start with Test

Далее необходимо создать политику:

1. В обозревателе Object Explorer кликаем правой кнопкой на Policies и выбираем New Policy.

2. В окне Create New Policy выбираем имя для политики, типа: Table Name Policy,

3. Ставим галочку на «Enabled»

4. В поле Condition box выбираем Table Name Condition.

5. Группу можно оставить “Default”.

6. В поле Applies to: выбрать из всего списка Server/Database/Table.

7. В описании режима исполнения: Enforce

Теперь в QA создаем запрос:

create table Test (Name nvarchar (10))

Policy 'Table Name Policy' has been violated by 'Server/Database[@Name='master']/Table[@Name='Test' and @Schema='dbo']'. This transaction will be rolled back.

Msg 3609, Level 16, State 1, Procedure sp_syspolicy_dispatch_event, Line 88

The transaction ended in the trigger. The batch has been aborted.

Что и требовалось доказать.

Создание же таблиц с другими процедурами проходит нормально.

P.S прежде чем попробовать DMF обратите внимание: был найден баг в СТР, который может свести на нет все попытки запуска примера. Как это дело обойти описано тут:

http://sqlserver-qa.net/blogs/sql2008/archive/2007/06/10/653.aspx

CTP3: Declarative Management Framework. Введение

2007-06-19T14:54:00Z

Declarative Management Framework

Управление сервером баз данных можно разбить на два типа «жизненных циклов»: управление сервером и управление приложениями. Управление приложениями включает в себя все, что необходимо для поддержки работы приложений и сохранности и актуальности данных, хранимых на сервере.

Можно попробовать описать это следующими картинками:

SQL Server

Дистрибутив/
Upgrade/фиксы

SQL Server Instance

Операционная система.

Настройка

Поддержка

Установка

Контроль

Управление сервером

Рис.1 Жизненный цикл: управление сервером

Рис 2.Цикл: приложение.

Как видно из картинок, оба цикла подразумевают установку/обновление программ, наблюдение за их работоспособностью, поддержку в случае возникновения проблем и тьюнинг (или, как еще называют – тонкую настройку). Каждый из этих шагов может быть сложным и требовать достаточно глубоких знаний и некоторой работы руками..

Что это значит для администратора? Это означает, что он ежедневно должен управлять экземплярами сервера и некоторым количеством приложений, установленными на этом сервере. Это и называется цели управления (management target). Администратор обычно должен следить за тем, чтобы все находилось в состоянии или функционировало в соответствии с какими-то известными требованиями . Допустим, база должна быть восстанавливаема на случай если вдруг что-то завалится и данные должны быть не старше какого-то периода (неделя/день/час/минуты) . Эти требования можно назвать политиками управления (management policy).

На данный момент, это достигается достаточно низкоуровневыми действиями, связанными с настройкой системы и требует хорошего знания SQL Server, семантики установленного приложения и т.д. Требует различных механизмов уведомления ( ну, если администратор вдруг смог что-то автоматизировать). Самая большая проблема, что много действий приходится повторять в случае, если администратор работает с некоторым количеством серверов.

Это и есть базовая идея Declarative Management – абстрагировать управление сервером до уровня концепций, который сервером же и поддерживаются. Концептуальные действия позволяют определять (что идет от “declare” в названии технологии) политики управления и применения их к некоторым целевым объектам ( целям). Политики же будут «переводить» концепции в более низкоуровневые шаги по управлению серверами, наблюдению за ними и отчетам о состоянии серверов или объектов.

Политики можно описать в в следующих терминах: «Эта база данных должна восстанавливаться за 30 минут». И это в противоположность нынешнему: «создать job резервного копированияс 30 минутным графиком»

Все основные операции по администрированию политик должны производиться через SQL Server Management Studio. DMF управляет «сущностями» - логическими элементами, объектами, которыми, собственно, можно управлять. Сущностью являются объекты типа: экземпляр SQL Server, база данных, или другие объекты SQL Server.

Основные компоненты DMF:

- Управление политиками (Администратор политик создает их)

- Явное администрирование ( Explicit administration) ( Администратор выбирает несколько объектов и сам следит за соответствиями этих объектов политикам или «руками» приводит их в соответствие)

- Автоматизированное администрирование

Администраторы политик «включают» автоматизированное исполнение политик:

- Принудительно, используя DDL триггеры, чтобы предотвратить нарушения политик.

- Проверка Изменений, используя уведомления о событиях и, соответственно, проверяя не было ли чего-то нарушено.

- Проверка по графику, используя SQL Agent, чтобы периодически «прошерстить» сервер и поглядеть – может там кто-то чего-то..

Какие же основные термины, на которые опирается DMF?

Управляемая Declarative Management Framework цель (managed target):

Это сущности, которые управляются DMF, такие как: экземпляр SQL Server Database, база данных, таблица, индекс. Или иначе - это физические или логические объекты SQL Server. Можно создать набор целей, который будет состоять из различных целей, которые в свою очередь будут удовлетворять определенным признакам. Набор целей будет выбираться путем применения фильтра (набора признаков) ко всей иерархии целей на экземпляре SQL Server. Например: все таблицы базы данных, которые принадлежат схеме HumanResources.

Аспект (или особенность) управления Declarative Management Framework

Принимаю предложения по терминологии. Оригинальное название: management facet. Это набор логических свойств, которые описывают модель поведения или свойств т набора целей. Возьмем для примера построение индексированного представления. Это одна логическая концепция, которая , однако, подразумевает конфигурацию семи физических параметров.

Так вот аспект, фактически, будет описывать те «кнопки» которые должны быть нажаты. На примере индексированного представления: сказал – хочу представление, тогда аспект должен будет хранить модель описания того, какие настройки (ограничения) должны быть выполнены.

Набор свойств, встроенных в аспект управления, может изменяться только автором. К одной цели может быть применено несколько аспектов. Один тип целей (или целевой тип) может устанавливать несколько аспектов управления ( т.е. типов «реагирования» или поведения) и, с другой стороны, аспект управления может быть установлен несколькими типами целей.

Т.е по сути, у аспекта есть несколько свойств. Пример: сервисная запись SQL Server – ей свойственны параметры <имя пользователя> и <пароль>. Соответственно, есть смысл эти оба свойства использовать как часть одного аспекта.

Примеры аспектов, которые идут с СТР3

Условие Declarative Management Framework

Это просто логическое выражение, которое устанавливает набор разрешенных состояний цели по отношению к аспекту.

Политика Declarative Management Framework

Это условие и ожидаемое поведение. Пример: режим исполнения, фильтр целей и график. Политика может содержать только одно условие и может находиться во включенном или выключенном состоянии.

Группа политик Declarative Management Framework

Это определенная пользователем группа, которая должна помочь управлять политиками. Пользователь может определить политики в разные группы. Каждая политика в свою очередь может принадлежать только одной группе. «Хозяин» базы данных может решить, под какие группы подписаться (т.е какие из политик должны быть применимы к его базе). Соответственно, только те группы, на которые администратор подпишет базу, будут определять правила управления базой. Например: подпишется под политику, запрещающую создания таблиц с дополнительными полями – никто не сможет добавить поля. Все базы по умолчанию подписаны на группу Default.

Режим исполнения Declarative Management Framework

Описывает, как политика будет выполнена. Режимы спонтанного исполнения - Check и Configure. Режимы «автоматизированного исполнения» Check on Schedule, Check on Changes и Enforce.

Эффективная политика

Эффективные политики цели – это политики, которые применены к цели и управляют ею в данный момент. Политика только тогда может быть эффективной по отношению к цели, если:

- Политика «включена».

- Цель принадлежит группе целей, которым эта политика «предписана».

- Цель или предок цели (речь идет о иерархии ж ведь) подписан под группу политик, куда данная политика входит

Что же вышло с СТР3 SQL Server 2008.

2007-06-13T18:53:00Z

Стали приходить вопросы, что же вышло с СТР3, где то, сё.

Попробую тут коротко рассказать.

Change Data Capture (CDC)
Это компонент, который асинхронно следит за изменениями в базе данных ( за всякими Insert, Update, Delete) и по требованию предоставляет информацию об изменениях в достаточно «удобоваримом» виде – в виде таблиц, где эти изменения отражены.

Презентации на эту тему: Live Meeting 13.06.2007
Change Data Capture.

MERGERSQL
Новая для T-SQL команда, которая выполняет операции Insert, Update, Delete на целевой таблице, основываясь на результатах объединения (JOIN) этой таблицы с базовой таблицей или представлением. Синтаксис позволяет сначала объединить базовый ресурс с данными и результирующую таблицу или представление и потом выполнять различные операции над результатом объединения. Очень серьезное послабление для разработчиков больших хранилищ данных, которым приходилось отслеживать изменения в базовой целевой таблицы, что никак не назвать тривиальной задачей.

Презентацию на эту тему можно посмотреть здесь: Live Meeting on 29.062007

Пример:

SE AdventureWorks;

MERGE Production.ProductInventory AS pi

USING (SELECT ProductID, SUM(OrderQty) FROM Sales.SalesOrderDetail sod

JOIN Sales.SalesOrderHeader soh

ON sod.SalesOrderID = soh.SalesOrderID

AND soh.OrderDate = GETDATE()

GROUP BY ProductID) AS src (ProductID, OrderQty)

ON (pi.ProductID = src.ProductID)

WHEN MATCHED AND pi.Quantity - src.OrderQty <> 0

THEN UPDATE SET pi.Quantity = pi.Quantity - src.OrderQty

WHEN MATCHED AND pi.Quantity - src.OrderQty = 0

THEN DELETE;

Star Join Query Optimizations
Еще один типичный пример из области хранилищ данных. Star Join Query позволяет улучшить производительность путем уменьшения времени выполнения запроса. Это достигается тем, что оптимизатор может динамически применять «маски» фильтров в параллельных планах запросов. Это дает то, что, допустим, «не квалифицированные» строки таблицы будут «вынесены» оптимизатором из таблицы фактов в самом начале плана.

Презентация: Live Meeting 19.062007 Star Join Query Optimizations.

Table Value параметры и Table type переменные
Во многих реальных имплементациях требуется передать фактически несколько строк таблицы хранимой процедуре. Для решения такого типа задач была введена в T-SQL возможность задавать новый тип переменной: табличный. Этот тип поддерживает представление структуры таблицы как параметра в хранимой процедуре или функции. Ну а Table-Valued параметр позволяет осуществить передачу нескольких строк процедуре или функции.

Презентация на эту тему: Live Meeting 22.06.2007
Table Value Parameters.

Declarative Management
Новый инструмент для управления SQL Server Database Engine, основанный на политиках. Некоторые примеры того, что этот инструмент дает:

- Фактически автоматическое слежение за соответствием требованиям к системной конфигурации. (Допустим, при поднятии нового сервера – он автоматически получит «одинаковые» настройки с другими)

- Запрещение и отслеживание изменений в изменениях конфигураций.

Звучит достаточно страшно, но на практике выглядит все красиво. Нам показывали такой пример: задается политика, на то, какая структура разрешена в базе.

Типа: Sales, Product Name, Purchase Data.

Заетм человек идет и созадет запрос о типа CREATE TABLE, но добавляет туда столбец Product ID. И смело жмет GO.

И тут же получает ответ красными буквами через весь экран – не могу, типа. Полиси не разрешает.

Очень полезна штука.

Презентация:Live Meeting 26.06.2007
Declarative Management Framework.

Информация по SQL 2008 (web cast)

2007-06-05T11:21:00Z

О том, что нового будет в SQL 2008 можно будет посмотреть тут:

SQL Server 2008 Livemeeting Schedule
Analysis Services - Dimension Design	06/12/07	11:00 am PDT
Change Data Capture	06/13/07	11:00 am PDT
Star Join Query Optimizations	06/19/07	11:00 am PDT
Table Valued Parameters	06/22/07	11:00 am PDT
Declarative Management Framework	06/26/07	11:00 am PDT
MERGESQL Statement	06/29/07	11:00 am PDT

Новое имя: SQL Server 2008 и выпуск CTP3

2007-06-04T18:56:00Z

Ну, теперь оно случилось официально: следующая версия SQL Server, известная под кодовым именем Kатмаи, будет официально называться SQL Server 2008, что и будет объявлено на TecEd 4 июня.

Одновременно с этим объявлением вышла первая версия "на посмотреть", она же СТР3.

Ссылка тут:http://www.microsoft.com/sql/prodinfo/futureversion/default.mspx

Рекомендую посмотреть вебкаст:

TechNet Webcast: The Next Release of Microsoft SQL Server: Overview (Level 200)

Monday, June 4, 2007

12:00 P.M. - 1:15 P.M. Pacific Time

Заодно было объявлено о покупке Dundas Data Visualization Inc, что само по себе обещает существенные изменения в Reporting Server'e

Обновленный BOL на русском языке доступен тут:

2007-05-03T11:10:00Z

http://www.microsoft.com/downloads/details.aspx?displaylang=ru&FamilyID=BE6A2C5D-00DF-4220-B133-29C1E0B6585F

Если идти по этой ссылке: http://www.microsoft.com/technet/prodtechnol/sql/2005/downloads/books.mspx , то там написано, что версия Апрельская. Скорее всего - просто не успели обновить сайт.

А так - качайте и наслаждайтесь. Если есть отзывы - не забывайте присылать

Ошибка: обратитесь к документации!

2007-03-23T18:35:00Z

Меня недавно сподвинуло на небольшое исследование и я подумал, что результаты этого исследования могут быть полезны не только мне.

Проблема:

SQL Server 2005, установлен SP2 и , при обращении через ODBC, начинают вылетает ошибка со следующим описанием:

ConnectionRead(recv()).

Общая ошибка сети. Обратитесь к документации по сети.

Или англоязычный вариант:

ConnectionRead(recv())

General network error. Check your network documentation.

И еще куча ошибок, которые скорее всего являются второстепенными.

Обращаться к документации не стал (кто же сразу начинает с документации?), а просто полез в «интеллектуальные закрома» , благо их тут навалом. Закромов.

Поиск решения не дал, зато навел на факт – ошибка действительно встречается часто. Были даже упоминания Analysis Services с аналогичными проблемами, но решения - нет.

Пришлось обратиться к поискам вне – и вот те на:

http://blogs.msdn.com/sql_protocols/archive/2006/04/12/574608.aspx

Статья: More GNE (General Network Error) messages when running SQL Server after installing service pack 1 for Windows Server 2003 and TCP registry key SynAttackProtect

Все понятно и даже с описанием решения!

P.S. SP2 тут не сильно виноват - такое поведение наблюдалось на разных конфигурациях.

Сервисы офф-лайн синхронизации с SQL Server. Хотите потестировать и пообщаться с разработчиками?

2007-02-14T12:10:00Z

Вышла тестовая версия Microsoft Synchronization Services for ADO.NET http://www.microsoft.com/downloads/details.aspx?FamilyId=75FEF59F-1B5E-49BC-A21A-9EF4F34DE6FC&displaylang=en

Смысл данной функциональности в двух словах можно описать следующими примерами:

«Мобильный пользователь»:

· «Я хочу, чтобы мое приложение, работающее с базой данных, одинаково работало в независимости от того, подключен я к сети или нет»

Разработчик:

· «Я хотел бы иметь возможность более просто разрабатывать «офф-лайн» приложения»;

· «Я хотел бы с помощью несложной разработки на базе ADO.NET создать приложение, которое сможет работать «офф-лайн», без подключения к серверу базы данных, вместо того, чтоб заниматься настройкой сложных способов репликации»

· «Я хотел бы, чтоб мое приложение, работающее с базой данных, имело код, который не зависит от того, подключен клиент к серверу или нет»

Ну и со стороны других участников процесса:

· «Хотелось бы, чтобы это решение не стоило нам дополнительных ресурсов по администрированию»

· «Хотелось бы, чтобы мобильное приложение не влияло на других подключенных пользователей (невидимое отслеживание изменений)

· «Хотелось бы, чтобы приложение, подключаемое периодически, управлялось очень просто, когда нужно сделать какие-то изменения в данных или способе работы этого приложения.»

Если у кого-нибудь есть идеи о том, как это решение могло бы помочь в реальных разработках и есть желание посмотреть на продукт и пообщаться с разработчиками напрямую – пишите! По крайней мере, группа разработки выразила неподдельный интерес, к тому как продукт будет работать в русскоязычной среде и этим надо пользоваться!!