Por que armazenar dados em tabelas delta no Fabric?

Em bancos de dados tradicionais, o processamento e o armazenamento de dados sempre foram “casados”. Para desenvolver um dashboard ou um modelo de machine learning, por exemplo, empresas ficavam reféns de integrações proprietárias (“vendor lock-in”), configuravam pipelines de ETL complexos, e acabavam consumindo recursos apenas para realizar uma exportação, gerando duplicidade e aumentando o custo de armazenamento.

No Microsoft Fabric, a lógica muda com a introdução das tabelas delta. Diferente de bancos de dados fechados, o formato delta (“Delta Lake”) é open-source, o que permite que SQL, Spark e Power BI acessem a mesma tabela, no mesmo lugar, sem cópias. Diferente dos bancos de dados tradicionais, você paga pelo armazenamento (baixo custo), mas escala o processamento apenas quando for necessário.

Isso permite que múltiplos times trabalhem com uma única tabela, sem cópias. Na prática: o engenheiro ingere dados via API usando o Data Factory e salva em uma tabela; o analista faz consultas SQL nessa mesma tabela para investigar padrões e encontrar respostas; o cientista treina modelos de machine learning com essa mesma tabela usando Spark; e gestores visualizam gráficos atualizados em dashboards de Power BI conectados a essa tabela via DirectLake.

Tecnicamente, quando você salva uma tabela delta, o Fabric armazena os dados em arquivos parquet, juntamente com uma pasta chamada deltalog. Nessa pasta, arquivos JSON registram todas as transações feitas na tabela em ordem cronológica. Quando um motor de processamento (SQL, Spark ou Power BI) realiza uma consulta, ele lê primeiro esses logs para identificar exatamente quais arquivos parquet compõem a versão mais recente.

A vantagem adicional é que essa estrutura de logs permite também consultar o estado da tabela em versões do passado (“time travel”). Isso reduz a necessidade de criar processos complexos de backup manual para recuperação de registros deletados ou para auditoria de dados históricos. É praticamente uma “casa inteligente” para os seus dados.