De nouveaux dashboards, de nouveaux connecteurs, de nouvelles applications, le père noël nous gâte cette année…
Nous lançons aujourd'hui une preview de plusieurs nouvelles fonctionnalités pour Power BI dont :
Ces nouvelles fonctionnalités ne sont pour l'instant disponibles que pour les utilisateurs qui ont une adresse aux Etats-Unis mais nous sommes en train d'ajouter le support d'autres pays et vous proposerons cette preview d'ici quelques semaines.
Les Dashboards Power BI
Vous pourrez miantenant personaliser vos dashboards pour suivre vos données importantes !
Les dashboard vous permettent de combiner des données locales et des données provenant du Cloud sur une seule et même page, permettant d'avoir une vue consolidée des données de l'organisation sans se soucier de leur provenance.
Les utilisateurs peuvent facilement explorer toutes leurs données en langage naturel et de façon intuitive, et recevoir des réponses sous forme de tableaux et de graphiques. Ils peuvent également explorer les données par le biais des rapports détaillés qui ciblent des aspects spécifiques de leur activité. Les visuels de ces rapports peuvent également être épinglés sur leurs tableaux de bord pour une surveillance en continu. Nous avons aussi ajouté de nouvelles expériences de visualisations, comme des graphiques combinés, des cartes, des jauges, des représentations en arbre ou encore des graphiques en entonnoir.
Les connecteurs "Out-of-the-box" pour les applications SaaS
Power BI fournit maintenant un connecteur “out of the box” à un certain nombre d'applications SaaS populaires.
En plus de la connexion native à Microsoft Dynamics CRM Online, les utilisateurs vont maintenant pouvoir se connecter à leurs données des applications :
et bien d'autres à venir dans les prochains mois !
En plus d'établir une connexion de données vers ces applications, Power BI vous fournira des rapports et tableaux de bord prédéfinis pour chacune de ces applications.
Excel BI et le Power BI Designer
Pour les utilisateurs de Power BI qui n'ont pas Excel 2013, le nouveau concepteur de Power BI fournit une solution spécifiquement conçue pour la création de rapports Power BI. Il peut être utilisé pour importer et modéliser les données, puis créer et publier des rapports Power BI sur le service Power BI.
Connectez vous à des modèles Analysis Services hébergés en local
Avec le nouveau connecteur de Power BI pour SQL Server Analysis Services, vous pourrez dorénavant réaliser des solutions décisionnelles basées sur le Cloud sans avoir à uploader les données elles-mêmes dans le Cloud.
Vous pourrez bientôt créer une connexion sécurisée à un serveur SQL Server Analysis Services en local et vous y connecter depuis Power BI.
Lorsque un utilisateur utilisera des rapports ou tableaux de bord basés sur un cube SSAS en local, Power BI interrogera le modèle sur site à l'aide de ses informations d'identification.
Grâce à cette solution hybride, vous pourrez continuer à conserver, gérer et sécuriser vos données sur site, tout en permettant à vos utilisateurs de bénéficier de ces données de manière sécurisée par l'intermédiaire de Power BI.
Restez connecté à vos rapports depuis n'importe quel device !
Nous travaillons sur plusieurs applications mobiles natives pour Power BI.
Ces applications permettrons aux utilisateurs d'accéder à leurs rapports et tableaux de bord Power BI via des expériences immersives mobiles sur iPad, iPhone et sur tablettes Windows.
La première d'entre elles - l'application iPad - est disponible dès aujourd'hui et téléchargeable depuis l'App Store d'Apple, et le support d'autres plateformes arrivera dans les prochains mois.
Toutes les applications mobiles de Power BI permettent aux utilisateurs de partager des idées et collaborer avec des collègues afin qu'ils puissent prendre des mesures immédiates, n'importe où, et n'importe quand.
=> Pour plus d'informations : http://blogs.msdn.com/b/powerbi/archive/2014/12/18/new-power-bi-features-available-for-preview.aspx
Cloudera, la solution Big Data de Apache Hadoop, est reconnu comme étant l’une des solutions leader de Big Data. C'est pourquoi nous sommes très heureux d'anoncer un nouveau partenaria entre Microsoft et Cloudera pour proposer la plateforme Cloudera sur Azure.
La plateforme Cloudera Enterprise a été récément certifiée Azure. Cela signifique qu'à partir du 28 octobre prochain, l'Azure Marketplacevous proposera la possibilité de déployer un cluster Cloudera Enterpise.
Il s’agira pour l'instant d'un cluster d'évaluation avec un accès à MapReduce, HDFS et Hive.
A partir de décembre, lorsque Cloudera 5.3 sera sorti, les utilisateurs pourront bénéficier de toute la puissance de la distibution Cloudera Enterprise qui inclura Hbase, Impala, Search, et Spark.
Nous travaillons également étroitement avec Cloudera pour assurer la meilleure intégratoin avec APS ( Analytics Platform System ), SQL Server, Power BI et Azure Machine Learning.
Cela vous permettra d’ici quelques semaines de pouvoir construire des solutions Big Data rapidement et simplement en utilisant le meilleur de l'associatoin de Microsoft et Cloudera.
Cloudera sur Azure vous permettra de :
● DéployerCloudera directement depuis l'Azure Marketplace.
● Importer des donnéesdans Cloudera depuis SQL Server.
● Utiliser Power BIpour Office 365 basé sur les données de Cloudera.
● Utiliser Azure Machine Learningpour faire des analyses prédictives en full cloud.
Notre partenaria avec Cloudera vous permet d’utiliser la distribution Hadoop de votre choix tout en bénéficiant des capacités d'Azure.
Cela montre également notre volonté forte de rendre Haddop le plus accessible possible en proposant des solutions de Big Data déployables sur tout type de plateforme, sur des VM hébergées, ou des services de Cloud public, en scénario on-premise ou en scénario hybride.
Pour plus d’informations sur la solution Cloudera : http://www.cloudera.com/content/cloudera/en/products-and-services/cloudera-enterprise.html
Il y a quelques jours, lors de la conférence Strata + Hadoop World, nous avons annoncé la preview de Apache Storm.
Apache Storm est un projet open source de l'écosystème Hadoop qui donne aux utilisateurs l'accès à une plate-forme d'analyse d'événements en temps réel (event-processing) permettant de traiter plusieurs millions d'événements .
Concrêtement, Storm est un système de calcul distribué open source, hautement disponible qui permet de traiter des données en temps réel. Storm fourni également des garanties de traitement des données, c’est-à-dire, la possibilité de retraiter des données qui n'auraient pas réussies à être traitées la première fois.
L'objectif est d'exécuter en temps réel des traitements de données en masse réparties sur un cluster de serveurs en proposant une alternative à Hadoop qui réalise ses traitements distribués en mode batch.
HDInsight Storm est un service Azure qui propose un cluster HDInsight implémentant le system distribué Storm, et qui peut être intégrer au sein d'une solution plus complète sur Azure.
Par exemple, Storm peut consommer en entrée des données provenant d'autres services Azure comme les files d'attente Service Bus ou les Hub Event et fournir des données en sortie pour utilisation au travers de sites Web ou d'autres solutions de visualisation de données.
Un cluster HDInsight Storm peut également être configuré sur un réseau virtuel d'Azure, ce qui réduit la latence des communications avec d'autres ressources sur le même réseau virtuel et fourni une communication sécurisée avec les ressources au sein d'un Datacenter privé.
L'intérêt de Storm, c'est qu'il repose sur un framework Apache nommé Thrift qui va permettre de développer des traitements de calcul sur mes données en temps réel dans de nombreux langages de programmation.
Le cluster Storm fonctionne de manière similaire aux job MapReduce que l'on connait déjà sur HDInsight ou sur Hadoop, mais se base sur un autre paradigme décrit par un vocabulaire bien précis.
Essayons donc de comprendre les composants du cluster Storm :
On va commencer par un exemple très concret avant de partir sur les définitions plus abstraites :
o Un cluster Storm contient deux types de nœuds :
o Les "worker processes" exécutent un sous ensemble du job principal que l'on appelle "topology". L'exécution d'une topologie est donc distribuée au travers de plusieurs "worker processes" sur le cluster. Contrairement aux jobs MapReduce, une topologie continue à s'exécuter jusqu'à ce que l'utilisateur lui-même l'arrête.
o La "Topology" défini en fait un graphe de calculs qui traite des flux de données nommés "streams".
o Un "Stream" est une collection de "tuples" qui ne sont pas reliés entre eux. Les “streams” sont produits par des "spouts" et des "bolts" et sont consommés par des "bolts".
o Un “tuple” représente donc la données au sens "Storm" à savoir une liste nommée de valeurs typées dynamiquement.
o Les "bolts" consomment des "streams", effetuent des traitements sur les "tuples" et peuvent générer des "streams". Les "bolts" écrivent également les données en sortie sur des stockages externes comme des queues des bases HDInsight Hbase, un blob ou tout autre stockage de données.
o Apache Thrift est un framework qui permet de faire du développement cross langages. Il vous permet de créer des services applicatifs qui tournent en C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, et d'autres langages. Nimbus est un service créé au travers de Thrift, et une “topology” est une définition Thrift
De ce fait, il est possible de développer des topologies en utilisant tout type de langage de programmation.
Etant donné que Storm traite des flux de données en temps réel, il permet de réaliser des analyses de données qui impliquent une recherche et une réaction rapide en fonction d'événements ou de patterns spécifiques.
Par exemple, une topologie Storm va pouvoir surveiller les données des capteurs et générer des alertes SMS pour avertir lorsqu'un évènement ou un pattern spécifique se produit.
Un processus d'ETL peut être considéré comme une suite logique d'un traitement de Storm.
Par exemple, si vous effectuez la détection des fraudes en temps réel, vous êtes déjà en amont en train de récupérer et transformer des données.
Vous pouvez également définir que les bolts stockent les données en sortie sur une HBase, dans Hive, ou tout autre stockage de données pour les utiliser plus tard dans des analyses à froid.
Le RPC distribué est un pattern qui peut être créé au travers de Storm. Une requête est transmises à Storm, qui distribue ensuite le calcul sur plusieurs nœuds et retourne un flux de résultats au client en attente.
Storm peut être utilisé avec une solution de Machine Learning comme Azure ML qui aurait déjà été entrainée par du traitement batch comme au travers d'une solution comme Mahout. L'intérêt, c'est queau dela de l'utilisation d'un modèle de calcul générique et distribué, on ouvre la porte à des solutions de Machine Leanrning basées sur des flux en temps réels.
Le cluster HDInsight Storm supporte les langages :
Cependant, Storm supporte d'autres langages qui vont juste nécessiter l'installation d'un composant additionnel pour prendre en charge le langage en question.
Lors de la conférence Salesforce Dreamforce à San Francisco hier, nous avons annoncé la preview d'un nouveau connecteur pour Power Query sur Excel.
Grâce à cette intégration, les utilisateurs vont pouvoir dorénavant se connecter et travailler sur leurs données provenant de leur compte Salesforce directement dans Excel afin de construire des rapports, visualiser ces données et en tirer des informations pertinentes.
Le connecteur est disponible en version 32-bits et en version 64-bits.
ATTENTION, il est necessaire auparavant d'avoir installé la dernière version de Power Query : http://blogs.msdn.com/b/powerbi/archive/2014/09/30/4-new-updates-in-power-query.aspx
Suite à l'installation du connecteur, vous pourrez voir 2 nouvelles sources ajoutées au menu "From Other Sources" de Power Query.
Comme les autres connecteurs Power Query, les données récupérées sont relatives aux authorisations associées au compte de l'utilisateur.
L'API Salesforce est utilisée en lecture seule ce qui permet aux utilisateurs d'avoir accès à leur données de production pour faire du reporting, sans craindre de la modifier.
La chaine de connexion utilise un flux OAuth et l'utilisateur renseigne ses informations d'authentifiaction Salesfoce pour que Power Query puisse établir la connexion.
Le connecteur "From Salesforce Object" se connecte directement aux objects de type "table" et propose une liste de toutes les tables auxquelles l'utilisateur à accès au travers de son compte.
Il pourra ensuite selectionner les tables qu'il souhaite importer directement dans le workbook ou bien dans son modèle Power Pivot.
Le connecteur "From Salesforce Reports" se conecte en utilisant l'API Reports et permet à l'utilisateur d'importer des rapports créés dans Salesforce directement dans Excel. Cela permet à l'utilisateur d'accèder à ses données sous un format similaire à celui dont il a l'habitude d'utiliser au travers de Salesforce sans avoir à se connecter aux objets sous-jacent et reconstruire les vues avec lesquelles il travaille habituellement.
Un fois les données importées dans Excel, l'utilisateur a la possibilité de combiner ses données Salesforce avec d'autres données provenant d'autres sources interne ou externe grâce aux différents connecteurs Power Query.
Etant donné que le connecteur est encore en Preview, certains changement pourront être constaté sur la version finale.
N'hésitez pas à remonter vos feedbacks au travers de l'option de feedback disponible dans Power Query afin de nous permettre d'améliorer ces outils !
Nous venons tout juste de sortir une nouvelles série de modèles de VM sur Microsoft Azure. Ces nouvelles versions de VM sont disponibles dès aujourd'hui pour tous les utilisateurs Azure.
Ces nouveaux modèles de VMs nommés "D-Series" sont disponibles au travers des 2 services "Azure Virtual Machines" et "Azure Cloud Services".
En plus de fournir des vCPUs plus rapides (Environ 60% plus rapides que pour la série A), et plus de mémoire (jusqu'à 112 Go), les VMs de la série D proposent un disque local SSD permettant de stocker jusqu'à 800 Go offrant des performances optimales pour les I/O en lecture et écriture.
Voici la déclinaison des modèles de VMs disponibles dans cette nouvelle série :
General Purpose D-Series VMs
Name
vCores
Memory (GB)
Local SSD Disk (GB)
Standard_D1
1
3.5
50
Standard_D2
2
7
100
Standard_D3
4
14
200
Standard_D4
8
28
400
High Memory D-Series VMs
Standard_D11
Standard_D12
Standard_D13
56
Standard_D14
16
112
800
Dans une VM Azure, un disque temporaire par VM (D:\ sur Windows, /mnt ou /mnt/resource sur Linux) est associé au SSD local qui est rattaché aux VMs de la gamme D et fournit une option idéale pour les workload de type stockage répliqué comme MongoDB, ou pour augmenter significativement les performances de SQL Server 2014 en activant la fonctionnalité Buffer Pool Extensions (BPE).
Pour rappel, le Buffer Pool est une ressource de mémoire globale utilisée pour mettre des pages de données en cache afin d'accèlérer les temps de lecture.
La fonctionnalité Buffer Pool Extensions Sur SQL Server 2014 permet d'éttendre le Buffer Pool classique avec de la mémoire d'un disque local SSD pour améliorer les performances des workloads SQL.
Sans avoir besoin de modifier le code de votre application, vous pouvez activer le Buffer Pool au travers des disques SSD des VMs de série D en exécutant simplement la requête T-SQL suivante :
ALTER SERVER CONFIGURATION
SET BUFFER POOL EXTENSION ON
SIZE = <size> [ KB | MB | GB ]
FILENAME = 'D:\SSDCACHE\EXAMPLE.BPE'
Plus de détails sur la configuration du BPE juste ici : Buffer Pool Extension.
Pour en savoir plus sur la série D de VM Azure, consultez cet article : Les VM de série D
Nous allons annoncer courant septembre les nouveaux niveaux de service de Azure SQL Database, notre Base de données as a Service avec des tarifs plus intéressants et une meilleure continuité d'activité pour les applications Cloud. Lors de la preview, nous avons écouté et répondu aux commentaires de nos clients et partenaires pour optimiser cette offre et nous sommes fin prêt à la mettre à disposition de tous !
Les nouveaux niveaux de service Azure SQL Database
En avril, nous avons annoncé les niveaux de service Basic, Standard et Premium.
Ces niveaux sont conçus pour fournir un ensemble défini de ressources qui fournissent des performances prévisibles pour répondre aux besoins d'applications transactionnelles de toute taille et assurer que les performances de vos applications ne soit pas affectées par d'autres applications d'autres clients.
Les nouveaux niveaux de service que je vous présente ici ajoutent à ceux-ci un éventail de fonctionnalités de continuité d'activité et la prise en charge de plus gros volumes de bases de données allant jusqu'à 500Go.
Les prix définitif seront abaissés de 50% vis-à-vis des tarifs publiés précédemment.
Cette baisse de tarif permettra à un plus grand nombre de clients de bénéficier des meilleures performances et d'une plus grande continuité.
Au sein du niveau de service Standard, nous offrons un nouveau niveau de performance nommé S0.
Ce nouveau point d'entrée à plus faible coût permettra à davantage de clients de profiter des caractéristiques du niveau de service Standard. Les niveaux de performance proposent un niveau de débit défini qui peut facilement être augmenté ou diminué en fonction des besoins des applicatifs du client.
Azure SQL Database sera disponible en facturation horaire pour ces nouveaux niveaux de service.
Ceci permettra aux clients d'avoir une plus grande flexibilité pour basculer entre les différents niveaux de service et les différents niveaux de performance, en fonction des besoins, permettant une meilleure rentabilité et des performances fiables.
Etant donnée que nos clients migrent de plus en plus leurs charges de travail stratégiques dans le Cloud, la haute disponibilité est primordiale.
C'est pourquoi nos nouveaux niveaux de service pour Azure SQL Database auront une disponibilité de 99,99 % .
Lors de la preview, certains éditeurs de logiciels nous ont remonté le fait qu'ils ont souvent un grand nombre de bases de données avec des exigences de rendement variable, et que de ce fait, ils ont besoin de la souplesse nécessaire pour partager les ressources en terme de performance sur l'ensemble de ces bases de données plutôt que de gérer des ressources de bases de données de manière individuelle.
Par exemple, un éditeur de logiciels SaaS peut avoir une base de données SQL distincte pour chaque client avec une activité qui varie d'une base de données à l'autre.
Il pourra alors gérer un pool de ressources avec un budget défini pour l'ensemble de ses bases de données client. Nous travaillons pour activer ce scénario dans les nouveaux niveaux de service lors d'une mise à jour future du service. Si vous êtes un éditeur avec un scénario similaire, n'hésites pas à nous en informer : http://technet.microsoft.com/en-us/evalcenter/dn800591
Voici ci-dessous un résumé des nouveaux niveaux de service et les mises à jour des prix :
Niveau de performance et prix mensuel
Basic
Standard
Premium
Uptime SLA
Augmentée à 99.99%*
Taille maximale de BDD
2 GB
250 GB
500 GB
Self-service restore
Jusqu'à 7 jours précédents
Jusqu'à 14 jours précédents
Jusqu'à 35 jours précédents
Disaster recovery
Geo-restore vers une autre région Azure
Standard geo-replication, standby secondary
Active geo-replication, jusqu’à 4 secondaires en lecture
Performance
Taux de transaction par heure
Taux de transaction par minute
Taux de transaction par seconde
DTU
(Database throughput units)**
Basic: 5
S0: 10
S1: 20
S2: 50
P1: 100
P2: 200
P3: 800
Basic: $4.99
S0: $15
S1: $30
S2: $75
P1: $465
P2: $930
P3: $3,720
* Ne s'applique pas aux version SQL Database Web ou Business editions qui sont supportées à 99.9%.
** Représente un ensemble de mesures composé du CPU, de la mémoire, et des taux de lecture et d'écriture. Pour plus d'informations : http://msdn.microsoft.com/en-us/library/dn741336.aspx.
Les nouveaux niveaux de service sont prévus pour une mise à disposition générale courant septembre 2014 et le prix de mise à jour entrera en vigueur pour tous les clients le 1er novembre 2014.
Les services de gestion de données Azure offrent aux clients un choix inégalé de solutions pour se gérer tout type de données.
Ces mises à jour qui arrivent vont permettre à nos clients d'atteindre plus facilement leurs objectifs de performance et tirer parti des avantages économiques du Cloud.
Que vous contrôliez et gériez vos bases de données au travers de SQL Server dans une machine virtuelle Azure ou que vous profitiez pleinement de notre solution de management de bases de données en mode Database-as-a-Service avec Azure SQL Database, nous vous offrons la disponibilité et les performances dont vous avez besoin.
Voici un tableau bien pratique pour vérifier la compatibilité entre vos différentes solutions Microsoft et les différentes versions de SQL Server.
Découvrez la toute nouvelle version de SQL Server Migration Assistant (SSMA) 6.0 pour Oracle, Sybase, MySQL et Access !
SSMA version 6.0 pour Oracle apportera des fonctionnalités supplémentaires telles que la migration automatique des tables Oracle vers des tables SQL Server 2014 In-Memory OLTP, la capacité de traiter 10 000 objets Oracle en une seule migration et l'augmentation des performances des process de migration de base de données et de génération de rapports.
Pour le tester, c'est par ici : http://www.microsoft.com/en-us/download/details.aspx?id=43689
Pour les plus curieux, voici la lliste détaillée des améliorations :
1. Amélioration du support d'Azure :
2. Support de nouvelles fonctionnalités d'Oracle :
3. Amélioration de l'évolutivité :
4. Sensibilité à la casse :
Avez-vous déjà rêvé qu'il ne soit plus necessaire de se soucier des sauvegardes des bases de données et que SQL Server soit assez intelligent pour effectuer un backup basé sur une règle spécifique ou sur un intervalle de récupération défini et que les sauvegardes soient automatiquement stockée sur un site externe ?
Et bien c'est maintenant possible avec la nouvelle fonctionnalité Managed Backups de SQL Server 2014.
L'équipe produit de SQL Server a fait un travail impressionnant dans la réalisation de cette nouvelle fonctionnalité qui permet de ne plus s'embêter avec la gestion et la maintenance des sauvegardes des base de données.
SQL Server Managed Backup effectue des sauvegardes automatiques de vos bases de données et les stocke sur le service Windows Azure Blob Storage.
SQL Server Managed Backups peut être activé au niveau de l'instance ou de la base de données. Si vous l'activez au niveau de la base de données, vous aurez une gestion automatique de la sauvegarde pour une base de données spécifique. Si vous l'activez au niveau instance, vous pourrez ensuite effectuer des sauvegardes gérées pour toutes les nouvelles bases de données qui seront crées. (Note : Les bases de données système ne sont pas actuellement prises en charge avec SQL Server Managed Backups). Cette fonctionnalité est disponible pour les environnements on premise et hebergés ( par exemple pour vos environnement SQL Server sur VM) et vous pouvez également l'associer à la nouvelle fonctionnalité de chiffrement de sauvegarde introduite dans SQL Server 2014.
Ce qui est bien avec SQL Server Managed Backups, c'est que vous n'avez pas à spécifier le type de sauvegarde ou de la fréquence de la sauvegarde.
Vous spécifiez uniquement la période de rétention qui se chargera de déterminer le type et la fréquence du backup de la base de données.
Mais alors… Qu'est-ce que la période de rétention ?
La période de rétention est utilisée par SQL Server Managed Backups afin de déterminer quels fichiers de sauvegarde doivent être conservés (ou supprimés) au niveau du stockage afin que vous ayez un point récupération de la base de données. Les valeurs actuellement prises en charge pour la rétention sont de 1 à 30 jours.
Important : Seul les backups de type FULL et LOG sont actuellement supportés par cette fonctionnalité.
Un Full Database Backup est lancé automatiquement si :
Un backup du fichier de log des transactions est lancé automatiquement si :
A prendre en compte :
Voici un exemple de mise en place de SQL Server Managed Backup :
Sinon, il est aussi possible de l'activer au travers de SSMS :
En juillet prochain, Microsoft lancera la preview de son offre de Machine Learning en mode SaaS appelée : Microsoft Azure Machine Learning (MAML)
Damien Cudel, chef de marché Data Insight, nous a présenté cette nouvelle plateforme en avant-première. Voici ce que va vous offrir Microsoft Azure d’ici quelques semaines…
Pour rappel, le machine learning ou apprentissage statistique fait référence à un ensemble de méthodes et d’outils qui permettent de concevoir des systèmes informatiques (machine ou programme) qui améliorent leurs performances dans la réalisation d’une tâche par l’expérience. Les tâches à réaliser sont souvent des tâches qu’il est difficile voire impossible de programmer de façon conventionelle. Par exemple, une application de gestion de courrier électronique va apprendre à détecter si un mail est un spam ou non.
L’identification du SPAM relève de l’une des branches du machine learning : l’apprentissage supervisé. A partir d’un jeu d’entrainement contenant des messages électroniques dont on connait la nature (spam ou non spam), on cherche à optimiser les paramètres d’un modèle d’apprentissage statistique en réduisant l’erreur de prédiction. Une fois l’optimum trouvé et l’ajustement du modèle réalisé sur l’ensemble d’apprentissage, on valide son efficacité ou plus exactement sa capacité à généraliser ce qu’il a appris sur un jeu de tests i.e. en ensemble de messages dont on connait la nature mais que le modèle n’a jamais vu.
Les domaines d'utilisation sont multiples comme par exemple le system de tri du courrier aux Etat-Unis, qui jusqu'en 1997 se faisait manuellement. De ce fait, des milliards de lettres nécessitaient une interprétation humaine pour lire et comprendre l'adresse écrite à la main sur ces courriers. Un algorithme de machine learning a été mis en place et s'est amélioré au fil des années pour pouvoir reconnaitre de mieux en mieux les écritures. Aujourd'hui, 98% des adresses postales sont reconnues automatiquement.
Côté Microsoft, ce n'est pas un domaine nouveau pour nous, on l'utilise déjà au sein de nos propres technologies :
La volonté de Microsoft a été de faire en sorte de démocratiser ce sujet auprès des organisations.
En effet, la pratique du machine learning nécessite des compétences très spécifiques encore peu répandues et fait appel également une palette d'outils complexes, peu intégrés.
Par ailleurs, une fois le modèle ajusté, il faut le passer en production : cette étape est généralement longue et nécessite souvent de recoder le modèle dans un environnement différent de l’environnement de conception : le risque de divergence entre le modèle issu de la phase d’apprentissage et celui issu de la phase de recodage n’est pas négligeable.
C'est pourquoi, Microsoft Azure Machine Learning – (MAML) va permettre de s'affranchir de ces difficultés pour faire profiter du machine learning au plus grand nombre.
Si l'on regarde l'architecture de la future plateforme MAML, qui sera hébergée dans un environnement Azure, on distingue 3 modules destinés aux populations IT et data scientists.
A gauche, le portail qui va permettre aux administrateurs de créer et d'associer pour chaque utilisateurs un workspace, leur permettant de bénéficier de leur propre espace personnel de travail, d'ajouter des collaborateurs pour partager leurs datasets, leurs modèles etc.. Les administrateurs vont également pouvoir administrer les workspaces pour gérer la sécurité d'accès aux données, surveiller la consommation des ressources, gérer le temps de calcul alloué, etc…
A droite, le ML Studio est destiné aux utilisateurs, data scientists, qui pourront réaliser des expérimentations en combinant au travers d’une interface graphique des modules permettant d’accéder à différentes sources de données externes comme Microsoft Azure HDInsights (Hadoop dans Microsoft Azure), Microsoft Azure blob storage, des fichiers CSV etc.., de préparer ces données, d’appliquer différents algorithmes (K-mean, régression logistique, réseaux de neurones, PCA…). Cette même interface permet en 2 clics de souris de passer le modèle ajusté en production sous la forme d’un Web Service qui prend en entrée les nouvelles données et restitue en sortie le résultat de l’application du modèle.
Enfin, l’API ML API Service qui permettra d'exposer les modèles au travers d'une URL pour être utilisé au travers de différents outils applicatifs comme Power BI pour une restitution des résultats.
Pour les développeurs, un SDK est fourni avec MAML afin de leur permettre d'étendre la plateforme avec leurs propres modules. Il sera également possible d’intégrer et d’exécuter directement des scripts R au sein de ses expérimentations.
Alors comment utilise-t-on cette nouvelle plateforme MAML ?
Après s'être créé un workspace, l'utilisateur va se créer des datasets qu'il peut importer à partir de différentes sources de données.
Il aura alors à sa disposition un certain nombre de modules fourni par la plateforme qu'il va pouvoir agencer dans le cadre d'une expérimentation pour créer un modèle. Par exemple, il aura un module pour importer ses données source, un module pour scorer son modèle, un module pour définir une corrélation etc….
Une expérimentation simple peut être réalisée de la façon suivante :
Une fois que les données sont prêtes, on va pouvoir les utiliser au travers du modèle à tester. Pour cela, on va les séparer en 2 entités, l'une pour entrainer le modèle, et l'autre pour le tester avec des données différentes du jeu de données d'entrainement pour lui soumettre des données qu'il ne connait pas.
On va donc ajouter :
Le modèle va pouvoir alors être évalué de manière graphique à l’aide par exemple d’une courbe de ROC (Receiver Operating Characteristic) pour une classification binaire afin d'identifier son niveau de fiabilité.
Ces différents modules sont organisés par catégorie pour faciliter leur manipulation.
Une fois le modèle validé, on va pouvoir utiliser différents module pour l'utiliser : Par exemple, un module StreamingReader qui permettra de faire du streaming pour l'exécution du webService ou un module Writer qui permettra d'exporter les output et les utiliser en csv.
Pour conclure, la plateforme MAML ne prétend pas concurrencer des plateformes très spécifiques comme R mais au contraire, elle a pour ambition de permettre une utilisation simplifiée des capacités du machine learning en intégrant des modèles prédéfinis et en permettant une intégration simple de modèles déjà développés au travers d'une interface agréable à utiliser et une plateforme scalable en fonction des besoins grâce à la flexibilité offerte par Azure.
=> => Si vous souhaitez tester la plateforme Windows Azure Machine Learning à partir de juillet prochain, inscrivez-vous à la préview : http://azure.microsoft.com/en-us/
Et si vous voulez en savoir plus sur, vous pouvez retrouver ci-dessous des ressources complémentaires :
=> => Vidéo promotionnelle : https://www.youtube.com/watch?v=SJtNJepz-pM&feature=youtu.be
=> => Découvrez ce qu'en dit un vétéran du Machine Learning chez Amazon recruté chez Microsoft par Satya Nadella en octobre dernier (Joseph Sirosh) ici : http://bits.blogs.nytimes.com/2014/06/16/microsoft-unveils-machine-learning-for-the-masses/?_php=true&_type=blogs&_r=0
Nous avons annoncé le 10 juin dernier la sortie du SP2 de SQL Server 2012.
SQL Server 2012 SP2 contient les correctifs des problèmes remontés en interne et en externe ainsi que des améliorations vis-à-vis des commentaires remontés par nos clients et partenaires sur notre plateforme de feedbacks. Il inclus le Service Pack 1 de SQL Server 2012 et le Cumulative Update 9.
Voici certaines des mises à jour demandées par les clients :
Pour plus d'informations sur les problèmes corrigés par le SP2, c'est par ici : http://support.microsoft.com/kb/2958429/en-us
Vous pouvez télécharger le SP2 de SQL Server 2012 sur le Microsoft Download Center aux liens suivants et sera disponible sur les autres cannaux de diffustion des correctifs comme Microsoft Update à partir du 24 juin 2014 :
Nous avons annoncé il y a quelques jours la disponibilité de l’update de mai 2014 de Power Query.
Quelles sont les nouvelles fonctionnalités de cette update ?
L'une des fonctionnalités les plus demandées pour Power Query était la possibilité d'accéder facilement aux sources de données crées.
Vous avez désormais un bouton "Recent Sources" vous permettant de consulter l'ensemble des sources de données que vous avez souhaité enregistrer pour y accéder plus rapidement, et éviter d'avoir à renseigner à nouveau les informations de connexion à ces sources.
Par défaut, l'option est grisée :
Puis dès la première création d'une source de donnée, il sera activé et vous offrira la possibilité d'accéder aux 15 dernières connexions à vos sources de données.
Vous pouvez également utiliser l'option "More Recent" pour définir 10 connexions que vous attachez dans les "Pinned" connexions afin d'avoir à disposition vos sources de données favorites.
Au travers d'un clic droit sur chaque source de données, vous accéder à un menu vous permettant des actions supplémentaires :
La fonctionnalité "Online Search" permet de rechercher :
Jusqu'à maintenant, une recherche dans "Online Search" rapportait l'ensemble des résultats internes et externes mélangées.
Vous avez maintenant une organisation des résultats en fonction du type "Public" pour les données provenant de sites internet, ou "Organization" pour des données provenant de sources internes à l'entreprise.
Vous avez également à disposition le nombre de résultats de votre recherche.
De nombreuses fonctions de modification des données ont été ajoutées sur cette nouvelle update. Par exemple, l'onglet "Insert" a été amélioré pour offrir de nouvelles possibilités d'ajout de colonnes.
De plus, un nouvel onglet "Transform" a été ajouté pour proposer les transformations classiques qui peuvent être effectuées sur toute la table ou sur une colonne spécifique.
La possibilité de récupérer des données liées à une colonne n'était pas très visible auparavant. Il fallait alors sélectionner l'icone représentant deux flèches opposées à droite du nom de la colonne.
Avec cette nouvelle version de Power Query, vous pouvez simplement cliquer sur la colonne qui propose d'autres données liées et cliquer sur l'option "Expand" de l'onglet "Transform" afin d'accéder à l'ensemble des colonnes relatives à cette colonne.
De plus, cette opération est maintenant accessible dans l'historique des opérations de transformation à droite de la table des données afin de pouvoir revenir en arrière si besoin.
Afin de ne garder que les colonnes contenant des données qui nous intéresse, il était nécessaire de supprimer les colonnes que l'on ne souhaitait pas garder dans notre source de données (Par exemple, les colonnes contenant les ID, ou autres codes relatifs à l'organisation des données).
Dorénavant, un nouveau bouton "Choose Columns" vous permettra de choisir directement les colonnes que vous souhaitez garder parmi celles proposées par le résultats de la requête Power Query.
Dans le "Workbook Queries" qui vous permet d'afficher les différentes requêtes de données effectuées dans Power Query, vous pouvez maintenant visualiser la liste des sources de données qui vous ont permis de créer cette requête.
Cela vous permettra par exemple de vérifier rapidement le niveau de crédibilité à accorder à telle ou telle requête en fonction des sources de données dont les données proviennent.
Afin de faciliter la possibilité de s'inscrire au service Azure Marketplace et utiliser les données proposées avec Power Query, un lien a été ajouté au "Power Query Navigator" qui pointe directement vers la page expliquant la façon de s'inscrire et d'utiliser les données de l'Azure Marketplace au travers d'Excel et de Power Query.
Nous avons annoncé hier la disponibilité de la version finale de Power Map pour tous les utilisateurs d'Office 365 possédant Office 2013 !
La version Preview de Power Map reste cependant disponible pour toutes les versions d'Office 2013. Cette version devait expirer au 31 mai 2014, mais cette expiration est désormais supprimée. Pour pouvoir continuer à utiliser Power Map en version Preview sur Excel 2013, n'hésitez pas à re-télécharger la nouvelle version ici !
Attention à ne pas utiliser la Preview en environnement de production, car cette version n'est pas supportée par nos équipes support.
Les utilisateurs de la version finale disponible via Office 2013 sur Office 365 bénéficieront désormais des updates de Power Map incluant de nouvelles fonctionnalités.
La dernière nouveauté de Power Map s'appelle "Repeat Tour".
Comme vous vous en doutez, cette fonctionnalité permet de rediffuser en boucle un "tour" Power Map, c’est-à-dire l'ensemble des différentes vues que vous avez créez et qui sont enchainées à la suites les unes aux autres au travers de transitions fluides.
Nos utilisateurs nous ont remonté le fait qu'il n'est pas pratique lors d'une démonstration, ou d'une présentation, de ne pouvoir jouer le tour qu'une seule fois et devoir le relancer si l'on souhaite une autre visualisation. Ils avaient donc trouvé le moyen de le faire au travers d'un export au format vidéo, ce qui répondait à leur besoin mais ne permettait pas de pouvoir arrêter le tour sur une vue particulière pour interagir directement avec les données comme le permet Power Map.
Nos développeurs ont donc répondu à cette demande en insérant un bouton "Repeat" dans la nouvelle update de mai de Power Map. Vous pouvez donc désormais lancer en boucle votre tour Power Map et l’arrêter à tout moment pour visualiser par exemple des données plus précises sur une vue particulière.
Pour tester tout ça :
Le 8 mai dernier, nous avons annoncé lors de la conférence "PASS Business Analytics" la disponibilité des nouvelles fonctionnalités de prévision de Power View dans Office 365.
Vous connaissez déjà les possibilités de réaliser des graphes depuis une source de données au travers de Power View, et bien vous pouvez maintenant, sur ce même graphe, étirer votre courbe dans le future pour détecter les saisonnalités de votre jeux de donner et évaluer graphiquement les prévisions de vos mesures.
Vous pouvez dès à présent directement dans PowerView faire :
ESSAYEZ CES NOUVELLES FONCTIONNALITES !!
Vous pouvez tester ces nouvelles fonctions au travers d'un exemple disponible dans un workbook Power View hébergé sur un site Power BI sur Office 365. Vous pouvez également tester ces fonctionnalités avec vos propres données si vous possédez un rapport Power View qui contient un graphe de type courbe basé sur des données temporelles et que vous l’importez dans un site Power BI sur Office 365.
Toutes les infos : http://blogs.msdn.com/b/powerbi/archive/2014/05/08/introducing-new-forecasting-capabilities-in-power-view-for-office-365.aspx
La description des algorithmes utilisés est disponible ici : http://blogs.msdn.com/b/powerbi/archive/2014/05/08/describing-the-forecasting-models-in-power-view.aspx
Voici un tableau bien pratique de comparaison des outils BI disponibles dans Office et dans SharePoint :
PDF du tableau disponible : http://officeimg.vo.msecnd.net/en-001/files/500/002/AF104215773.pdf
Azure SQL Database propose désormais deux nouveaux niveaux de service (De base et Standard) qui viennent s'ajouter au niveau Premium déjà disponible en version d'évaluation.
=>Testez la preview « Azure SQL Database Premium » : https://account.windowsazure.com/PreviewFeatures.
En réponse aux demandes des utilisateurs, Azure SQL Database présente de nouveaux niveaux de service qui permettent de fournir des performances prévisibles pour répondre aux besoins d'applications transactionnelles de toutes tailles.
Ils fournissent également des fonctionnalités de continuité d'activité, un contrat de niveau disponibilité plus fourni, des bases de données de plus grande taille pour un prix inférieur et une meilleure expérience de facturation.
• De base : conçu pour des applications avec une charge de travail transactionnelle modérée. Les objectifs de performance pour le niveau de base proposent un taux de transactions prévisible par heure .
• Standard : Standard est l'option idéale pour découvrir les applications d'entreprise conçues pour le Cloud. Ce niveau propose des fonctionnalités intermédiaires de performance et de continuité des activités. Les objectifs de performance pour le niveau Standard proposent des taux de transactions prévisibles par minute .
• Premium : conçu pour des bases de données stratégiques, le niveau de service Premium propose les niveaux de performance les plus élevés ainsi qu'un accès à des fonctionnalités avancées de continuité d'activités. Les objectifs de performance pour le niveau Premium proposent des taux de transactions prévisibles par seconde .
1Les contrats de niveau de service prendront effet au moment de la mise à disposition générale. Les versions d'évaluation d'Azure sont soumises à différentes clauses liées aux services, telles que définies dans les conditions supplémentaires de la version préliminaire.
2Toutes les fonctionnalités de récupération d'urgence ne sont pas encore disponibles aujourd'hui. Pour en savoir plus, consultez la page de documentation relative à la récupération d'urgence.
Pour plus d'informations sur les nouveaux niveaux de service, reportez-vous aux pages suivantes :
• Blog Azure officiel
• Choisir une édition Base de données SQL Azure
• Gestion des éditions Base de données SQL Azure
Attention : Les niveaux de service Web et Business seront mis hors service d'ici 12 mois
Les niveaux de service Web et Business de Azure SQL Database seront mis hors service d'ici 12 mois. Aucun changement n'aura lieu pour l'instant quant aux niveaux Web et Business. Les utilisateurs déployés pour le moment sur ces niveaux de service continueront d'utiliser ces niveaux de service sans perturbation via le Portail de gestion Azure. Pour plus d'informations, rendez-vous sur la page de FAQ relative au retrait des niveaux Web et Business.
Microsoft a publié hier Microsoft SQL Server 2014 en General Availability.
Parmi les améliorations apportées par cette version SQL Server 2014, vous pourrez retrouver une amélioration impressionnante des performances grâce aux technologies "In-memory" et la mise en place de nouvelles solutions en mode hybride pour profiter des avantages du cloud computing pour des scénarios de sauvegarde et restauration dans Azure.
Et bien sûr, SQL Server 2014 continue d'offrir des fonctionnalités de Business Intelligence à la pointe grâce à l'intégration des outils familiers comme Excel et Power BI pour Office 365.
Les caractéristiques essentielles de SQL Server 2014 :
SQL Server 2014 propose la technologie In-Memory qui améliore considérablement la performance des applications critiques pour le traitement des transactions en ligne (OLTP), l’implémentation d’entrepôts de données et les produits de Business Intelligence intégrés.
Des outils sont fournis pour aider à identifier les tables sur lesquelles il y a des contentions I/O et migrer ces tables et procédures stockées vers le « In-Memory ».
SQL Server 2014 améliore la haute disponibilité avec AlwaysOn des bases OLTP classiques et In-Memory pour répliquer un ensemble de plusieurs bases de données au sein d'un même objet qui maintiendra la cohésion du groupe lorsque l'on aura besoin de basculer un applicatif. De plus, il permet de tirer le meilleur des technologies existantes : Le cluster pour les solutions de haute disponibilité et le miroir des bases pour la réplication de données.
Avec AlwaysOn, vous pouvez accéder aux bases de données répliquées en lecture, par exemple pour pouvoir effectuer des backups ou des rapports sur une autre base que celle en production.
SQL Server 2014 améliore la gouvernance des ressources et notamment des entrée-sortie (IO) permettant de gérer plus efficacement ces ressources au travers de plusieurs bases de données et/ou de classification de bases de données, pour fournir des performances en entrée-sortie plus prédictives sur les charges de travail les plus critiques.
Et bien sur, SQL Server 2014 est une plate-forme de Cloud hybride qui offre la gestion des sauvegardes vers Windows Azure pour sauvegarder des bases de données SQL Server en environnement sur site (« On-Premise ») vers les systèmes de stockage Windows Azure, et ce directement à partir de SQL Server Management Studio. On obtient donc une solution de reprise après sinistre depuis Windows Azure avec une interface utilisateur simplifiée, intégrée à SQL Server Management Studio, permettant d’ajouter facilement des machines virtuelles Windows Azure en tant que réplicas AlwaysOn, pour une plus grande protection des données à un prix compétitif, et fournissant une solution de reprise après sinistre.
Bien sur, plein d’autres nouveautés sont à découvrir !
Alors allez-y : Essayez SQL Server 2014 !!
http://technet.microsoft.com/en-US/evalcenter/dn205290.aspx?WT.mc_id=Blog_SQL_Launch_SQL2014
SSIS savait déjà publier des packages SSIS en tant que flux Odata , il peut désormais consommer des sources OData !
Avec ce connecteur, vous pouvez maintenant, dans un package SSIS, extraire des données depuis un service Odata ( services Office 365 ou des flux provenant de Microsoft Azure Market Place par exemple ) et y effectuer par la suite des traitements de type ETL.
Avis aux utilisateurs de SQL Server 2014 : voici la nouvelle version de mars 2014 de SSDT.
Au menu :
- Support de la gestion des bases de données SQL Server 2014
- Nouvelles fonctionnalités :
- Correction de nombreux bugs remontés par les utilisateurs
Attention, cette version ne concerne que les outils de gestion de bases de données dans Visual Studio et non les outils SSDT-BI qui seront mis à jour prochainement.
Pour plus d'informations : SSDT for SQL Server 2014
Pour télécharger la nouvelle version de SSDT : http://msdn.microsoft.com/en-us/data/hh297027
Bonjour à tous,
Je me présente, je suis Emilie Beau, ingénieure avant-vente/conseil pour les partenaires. Je travaille dans l'équipe PTC - Partner Technical Consultant chez Microsoft France. Mon rôle consiste à accompagner les partenaires Microsot silver et gold en situation d’avant-vente pour positionner les solutions de management des données, de BI et de Big Data chez les clients, (caractéristiques techniques, design d’architecture, situation de concurrence etc.. ), d'apporter du conseil pour répondre à toutes leurs questions techniques et licensing ( bonnes pratiques, migration, déploiement, how to etc….) et enfin de leur délivrer des formations pour qu'ils aient toutes les compétences nécessaires sur nos outils.
Je serai l'une des rédactrices de ce blog.
Au plaisir de vous compter parmi nos lecteurs !
Pourquoi ce blog ?
Parce que le monde de la BI est en plein boom, et que Microsoft s'efforce d'implémenter des produits proposant de plus en plus de fonctionnalités pour répondre à tous les besoins remontés par nos partenaires et nos clients, il nous a semblé nécessaire de pouvoir fournir des informations sur les différents évènements, les nouveautés produit, sur leur utilisation, leur fonctionnement, et d'autres informations qui pourraient vous être utiles.
Si ce blog est principalement tourné vers la BI, vous pourrez y retrouver des informations sur d'autres sujets comme le moteur SQL, le Big Data, la Data Visualization ou tout ce qui concerne le Data Mining. Bref, pas de limites, l'idée est de vous donner des infos sur tous nos outils de management de la donnée.
Pour finir, ce blog est un complément aux très bon blogs cités ci-dessous, et rédigés par des collègues très compétents et plein de ressources :
Bonne lecture !