Armazenando dados no Lakehouse do Fabric

Imagine a diretoria de uma empresa que se reúne toda semana para decidir o futuro do negócio, mas a conversa sempre termina em confusão. O time de vendas apresenta um número, o time de redes sociais apresenta outro, o time do site traz um terceiro e o time financeiro discorda de todo mundo.

Esse cenário é bem comum quando cada time possui acesso apenas à sua própria versão dos dados. Em organizações com baixa maturidade analítica, a informação é armazenada em silos que impedem uma visão ampla da operação. A solução para alinhar todos os times começa no armazenamento dos dados em um único lugar: um “lakehouse”.

O Lakehouse é um item do Fabric que combina a flexibilidade de um “data lake” com a estrutura de um “data warehouse”. Na prática, você tem a liberdade de criar pastas com arquivos em diversos formatos (Excel, CSV, JSON…) e, ao mesmo tempo, você consegue manter tabelas e relacionamentos em modelos de dados no formato Delta Parquet.

Para armazenar os seus dados no Lakehouse, você pode: fazer o upload direto de arquivos locais, como planilhas de Excel; utilizar o Dataflow Gen2 para transformações visuais sem código; utilizar notebooks Spark com Python ou SQL; ou utilizar tarefas de cópia do Data Factory.

O diferencial do Lakehouse do Fabric são os “atalhos”, que permitem conectar dados hospedados em nuvens como Azure, AWS ou Google Cloud sem a necessidade de movimentar ou duplicar arquivos fisicamente. Caso algum dos times queira manter seus arquivos hospedados fora do Fabric, você ainda assim pode trazer os dados sem muito esforço.

Assim que você criar um Lakehouse, vai perceber que o Fabric automaticamente gera um “modelo semântico”, que serve para que a criação de relatórios no Power BI, e disponibiliza um “SQL endpoint”, que permite analises mais aprofundadas usando SQL.

Centralizar os dados no Lakehouse é um grande passo para melhorar a maturidade analítica de uma empresa. Com dados estruturados em uma fonte única de informação, diferentes times passam a conversar na mesma língua. O tempo que antes era perdido discutindo qual é o número certo passa a ser investido na construção de estratégias para o crescimento do negócio.