Déployer Databricks Sécurisé: VNet Privé, Firewall & Unity Catalog

0:00bonjour le but de cette session est de vous montrer comment déployer un workspace databrix en mode secure cluster et de le configurer avec Unity catalogue donc l'idée de cette configuration c'est de déployer un donc databrix dans un Virtual Network un vnet et d'avoir uniquement des communications au sein d'un réseau privé euh et des

0:22communications donc contrôlé et restreines euh vis-à-vis du contrôle plein tout en intégrant la partie Unity catalogue donc nous allons le faire pas à pas depuis le portail Azure donc cette configuration pour être scriptée avec le Azure CLI ou avec du terraform par exemple ou des templetes mais le but deette section est purement éducatif donc la configuration

0:46que l'on va déployer pourrait être quelque chose qui qui va en prod mais c'est avant tout un exemple de configuration qui vous permettra de comprendre en fait quels sont les mécanismes et les points d'intégration réseau ainsi que la partie sécurité donc pour pouvoir euh suivre en fait cette session cette session sera en deux parties il faut que

1:08vous ayez euh vous soyez honneur ou contributeur d'une souscription euh avant tout au sein de cette souscription va déployer différentses services Azure notamment un stockage il faut que vous soyez honneur du stockage car nous allons devoir euh configurer la partie AEM euh du rollback sur la partie euh

1:30sur la partie stockage donc pour vous donner une une vue d'ensemble de cette installation on va dans un premier temps faire un setup sur la partie Venette et stockage puis on va déployer le workspace ça va être la première partie de ce déploiement et la deuxième vidéo sera centrée sur le rattachement de ce

1:52workspace à la partie Unity catalogue et l'activation du serveur l donc pour la partie Venet et stockage c'est assez simple là euh donc on va créer un un Virtual Network en mode standolo qui ne sera connecté à rien du tout on va prendre un cidr/ 16 parce qu'on va avoir assez de d'espace mais on pourrait le réduire on va créer un différent subnet nous manuellement on va

2:15créer un premier subnet entre guillemets applicatif que j'appelle apps qui sera en slash 24 on va en profiter pour créer un network security group ce n'est pas obligatoire disons que en terme de sécurité là on prend le choix d'utiliser un NSG donc un netwk security Group vous à terme vous pouvez décider que j'utilise

2:38pas network security group j'ai une configuration ope ur spoke pardon j'utilise un firewall je vais utiliser des jd1 et cetera tout ceci est documenté mais encore une fois le but est de déployer une configuration assez simple pour mettre en évidence les différents mécanismes on va ensuite créer un stockage en mode hiérarchique HNS c'est-à-dire que on va pas utiliser le format en tout le CASOC col blob mais

3:00c'est du distributive F system euh donc hiérarchique veut dire qu'on va avoir des répertoires sur ces répertoire on va pouvoir mettre des droits s une forme POS x Read Write execute et également sur les fichiers et c'est un format qui apporte par rapport au blob d'une part une granularité de la sécurité beaucoup plus fine on peut mettre des ACL sur les répertoires et

3:22sur les fichiers et aussi une performance en terme de navigation pour récupérer ou lister des fichiers dans un répertoire c'est beaucoup beaucoup plus performant en HNS qu'en mode blog et en configura bien sûr le firewall du stockage il y a beaucoup d'options je pense que le firewall du service stockage d'Azure est sûrement le plus complexe et on va voir qu'avec databrix

3:47on va devoir utiliser la plupart de de ces fonctionnalités passons au mode à la démonstration donc là je suis connecté en tant que en l'occurrence la honneur de ma propre souscription et je vais commencer par créer un ressource groupe dans lequel je déployer mes différentes ressources donc je clique ici sur la

4:11gauche sur ressource group puis sur Create je va donner un nom à mon ressource Group et je choisis une région donc en l'occurrence ça va être Europe du Nord donc vous à votre niveau pouz choisir n'importe quelle région cette région est attachée au niveau du ressources groupe à l'intérieur du

4:33ressources groupe on va déployer des ressources azur il faut savoir qu'il y a pas un lien nécessairement direct entre les ressources déployées dans un ressource groupe euh par rapport à la région donc je peux il a en l'occurrence dans mon ressource groupe ici dbx North à déployer des ressources qui seront Isus ça dépend des templates des différentes ressources euh mais pour ce

4:55tuto il est important notamment sur les aspects vet de rester dans la même région donc choisissez n'importe quelle région supporter en sachant qu'un Venet ne peut pas traverser différentes régions il peut pas traverser des souscriptions si vous voulez avoir un réseau qui soit cross région cross souscription vous allez devoir interconnecter différents ven déployé localement soit au travers de vinette

5:18ping soit au travers de firewall enfin ça dépend peu de votre configuration donc là je crée ce ressource gr voilà il est ici je me mets dansbxn et je vais commencer par créer mon virtuel network donc là je peux cliquer sur cette partie là sur Create je tape ici Virtual

5:40Network voici sur la Marketplace en fait le template je clique sur Create voilà je vais lui donner un nom je vérifie que je suis bien en Europe du Nord comme pour mon group je vérifie aussi là je suis dans le bon ressource group au niveau sécurité je

6:05n'utilise aucune de ces options là vous pouvez si vous le souhaitez activer l'encryption mettre un si vous ne voulez pas utiliser les network security group queon va utiliser par la suite aurbation ça vous sert en fait à au travers d'une interface web de vous permettre de vous connecter dans le vet en mode SSH RDP sans avoir à déployer une

6:28jumpbox au niveau de l'adressage IP je vais rester sur un cid/1 ici je vais lui donner un sous-réseau un peu différent en terme d'espace d'adressage et le sous-réseau par défaut qui est ici ou de l'appeler default je vais l'appeler apps pour que ça colle avec mes slides de

6:50présentation je demande à ce qu'il me créer un security groups que je vais appeler apps NSG pas de rting table pas de N Gateway encore une fois sont des choses que vous pouvez ajouter par la suite qu'est-ce que j'ai fait ici starting adresse ça do 3 là blabla tout

7:17est bon je Save et je lu demande de créer ce réseau vous voyez ici en haut à droite que le réseau est en cours de déploiement ça va pas prendre beaucoup de temps mais je vais pas attendre je vais commencer à déployer dans le ressource group euh je reviens mon rource group la partie stockage donc sur la partie stockage dbx North je clique

7:40encore une fois ici sur crer pour avoir accès à la marketplace je clique sélectionne storage account storage account je clique sur cette ce template là storage create storage account donc je lui donne un nom

8:02als morph je reste en Europe du Nord je suis dans le bon ressource group je reste en mode standard j'ai pas besoin de Premium qui est du SSD j'ai pas besoin du godonant storage qui est une réplication cross région je vais le rester au niveau local c'est beaucoup moins cher sur la partie advance je peux garder ici ces options par défaut ça n'a pas d'importance ce qui est important

8:25c'est de être en mode euh hiérarchique donc pour être sur du distrib syst non pas du blob et enfin sur la partie réseau je vais dans un premier temps lui dire que tous les public mon stockage est un service pass donc par défaut il est accessible au travers de public

8:47fqnqm se résout avec une adresse IP publique je peux l'interdire parce que je vais le rendre disponible dans mon vn au travers d'un prend je dire je cré ce pr toujours dans la région terour pas

9:12vérri syi en rauauau fournir une adresse IP privé qui quand je vais y accéder par translation

9:34d'adresse IP c'est du NAT va me router directement au niveau du backb Microsoft sur le compte de stockage qui a été ciblé d'accord celui-ci néanmoins j'ai la le choix au niveau du DNS quand je vais donner le FQDN de ce compte si je l'utilise à partir de mon LTAP ça va être au niveau DNS un FQDN qui va se résoudre

9:56sur l'adresse IP public ici il va se résoudre si j'accepte ici cette configuration là qui dit que je vais rajouter une zone privée dans le service DNS attaché à mon subnet à mon vnet il va me rajouter en fait des zones qui font que mon fqedn FQDN de mon compte est résolu vers une adresse IP privée quand je suis en vet c'est ce que je

10:19souhaite vous avez la possibilité vous de si vous avez un votre propre service DNS euh de ne pas prendre cette option mais à ce moment-là il faudra créer les différents allias et euh dans les enfin créer des zones privées et les les différents alias qui vont se résoudre sur les adresses IP du Private point Mo je dis ok euh c'est tout ce que j'ai à faire à ce

10:41niveau-là je peux garder les autres options par défaut donc review and create et je lance le déploiement du compte de stockage donc en haut à droite j'ai la possibilité de voir en fait ce qui é déployé je vais enlever ce qui a déjà été complété j'ai mon compte de stockage qui est en cours de déploiement je ne vais pas attendre je vais passer à la table d'après qui consiste à déployer

11:04mon workspace databrak donc mon workspace databrix en fait ici quand on va le déployer au travers d'un template il va créer par dérogation de deux subnet un qui s'appelle public un autre privé le privé en fait va contenir excusez-moi le privé en fait va contenir

11:27les VM qui qui vont supporter les différents clusters d'amic que vous allez créer et à l'intérieur donc du sunet privé toutes les communications internes seront contenus dans Cenet là dès que le cluster aura besoin de communiquer vers l'extérieur du vnet notamment le contrôle plan ça passera par le subnet public en fait le contrôle

11:49plan ici va permettre d'une part de piloter les cluster et de fournir également l'environnement d'administration et de développement donc sont des web app qui fournissent une UI à travers de l' ui vous AZ développer des notebook des queries ainsi de suite et administrer véritablement vos clusters et c'est uniquement un mode commande comme c'est un secure cluster en fait on fait en

12:11sorte que les communications soient initialisées en out band directement depuis le workspace qui est défini ici vers le contrôle plan et ensuite la communication une fois établie permet justement le pilotage des différents NSG donc ça permet de réduire euh les ouvertures du du vnet on a besoin de quasiment aucun inband et et

12:33on autorise un certain nombre d' Band qui sont eux-mêmes au niveau du NLG on va le voir restreint par tag au niveau donc d'un certain nombre d'adresses IP de compte de stockage on va aller voir des bases de données relationnelles et ainsi de suite tous les private point nous les créons ici au niveau de la partie apps si par exemple vous avez besoin par la suite de mettre un Azure Ky Volt pour

12:56stocker les créen Ch vers une base de données ou vers un topic Kafka typiquement euh au lieu de mettre directement les clés ou les les créentials dans votre code vous allez le mettre dans un kivote et fait y faire référence au travers d' libéé Azure kivote est aussi un service pass et pour être conforme en fait à ce type de déploiement vous allez créer un pravting point desure pivot au niveau de ce

13:19sous-résseol là voilà passons à la pratique donc là la partie euh euh stockage a été déployé je retourne dans mon ressource groupe je vois bien ici les différents objets qui ont été créés euh ma zone DNS mon vet mon NSG ma carte d'interface du

13:44Private andpint qui est ici qui permet de relier mon stockage ici au vnet maintenant là je vais déployer la partie databrix donc je reviens sur la Marketplace je sélectionne ici databrix je prends cette tuile qui est le template databrix CR databrix je vérifie que je

14:06suis dans le bon ressource group je lui donne un nom je vérif que je suis bien en Europe du Nord je reste en Premium parce qu'on en a besoin pour pouvoir se connecter à la partie d'unit catalogue et ensuite je vais donner un nom au manage resource GRP pourquoi un manage resource GRP parce que donc c'est un service manager

14:29donc le control plane dont on vient de parler précédemment euh va déployer des ressources notamment les clusters dans un ressource Group qui est euh délégué à databrix donc vous pouvez le voir mais vous ne pouvez pas le modifier il est piloté directement par le contrôle player dans Azure un ressources groupe ne peut pas contenir d'autres ressources groupes donc le ressource groupe manager et le ressource groupe on va dire original seront côte à

14:52côte si vous supprimer dans ce ressource group là le workspace qui s'appelle dbxn automatiquement la partie ressource group un objet sera supprimé une fois que databrix aura été déployé on ira regarder ce que contient ce manage resource group il y a différents objets notamment on va voir une manage antitique qui est très importante pour la configuration du multi catalogue donc je passe à la partie

15:16réseau la partie réseau a deux options la première qui est ici c'est véritablement on dit que les clusters pilotés par le contrôle plin databrick seront déployés dans le Virtual Network que je possède donc moi c'est le vnet Nord effectivement j'ai je vais garder les noms de public subnet l'adressage IP ça va être

15:41indice.3.1 euh.2 pardon0/24 le point euh point 3.1 étant le apps le sousréseau euh initial que l'on a créé et le Private subnet va être le 10.3.

16:053.0/24/ 24 ça donne 256 adresse IP 256- 5 je crois 5 réservé pour Azure ça fait 251 c'est le nombre de nodes de nœud vous pouvez avoir un instanté actif dans pour work datx on va lui demander en fait on peut lui demander de désactiver les accès publics

16:29donc ça ne concerne pas les clusters ici ça concerne la partie qui est les U donc les U qui vont se connecter au contrôle PL le contrôle PL sont se repose sur une infra multitenante donc c'est mutualisé pour tous les clients c'est il y en a y en a il y a une infra par région azur et donc

16:52c'est ils sont exposés au travers duqdn d'une adresse IP publique si vous souhaitez ne pouvoir y accéder qu'au travers d'une adresse IP privée on va devoir créer un prate end point et vous pouvez ensuite condamner les accès IP public vous pouvez faire également du White listing c'est quelque chose que l'on peut régler ici c'est expliqué

17:14voilà je vais garder en fait les règles NSG si jamais vous voulez pas de network security Group vous voulez utiliser des UDR ou votre propre fireewall et cetera des Gateway vous pouvez jouer avec cette option là et là je n'ai plus qu'à créer le network security group pour cette option là qui est de dire que je ne veux pas d'adresse IP public pour mon environnement d'administration Web et de

17:36développement donc ici je vais créer je vais lu donner un [Musique] nomx ici choisir mon vnet mon subnet et je garde aussi cette option DNS la mise à jour automatique du DNS je dis ok j'ai plus qu'à lancer le [Musique] déploiement CRE voilà donc je vais

18:01m'arrêter là pour cette la première partie de cette vidéo on reprendra une fois que databrix aura été déployé on passera en revue les différents composants qui ont été déployés pour databrix notamment dans le manage resource Group et ensuite on passera à la configuration ou à la l'adossement de de ce workspace à Unity catalog

18:25merci