Como estruturamos uma Plataforma de Dados e IA escalável com Databricks
A Programmers, especialista em soluções de IA, Dados e Software, atuou na estruturação da estratégia de dados e inteligência artificial para uma empresa líder no setor de mineração. Criamos uma estrutura de dados escalável e com governança, essencial para operações complexas, utilizando o Databricks como o núcleo operacional dessa fundação tecnológica.
Desafio
Os desafios da inteligência artificial corporativa são complexos: pilotos que não escalam, falta de dados confiáveis, altos custos e falhas em governança de dados.
Um investimento responsável em IA em escala exige uma abordagem de Plataforma de IA, integrando fundação de dados, orquestração de agentes e uma camada de experiência do usuário de alta performance.
Solução
A solução foi uma arquitetura desenhada em três camadas interdependentes, com o Databricks como núcleo, suportando simultaneamente analytics corporativo, governança e aplicações de IA avançadas.
Fundação de Dados e Governança
O primeiro passo, portanto, foi estruturar a base em uma arquitetura Lakehouse, onde o dado percorre um fluxo de qualidade até estar pronto para o negócio:
- Camada Bronze: Onde mantemos os dados brutos, garantindo histórico, auditoria e capacidade de reprocessamento.
- Camada Silver: Dados já tratados e integrados entre as diferentes áreas, permitindo análises técnicas precisas.
- Camada Gold: Aqui, as informações estão preparadas para responder às necessidades de negócio, alimentando KPIs, relatórios executivos, Power BI e o Genie AI.
Toda essa estrutura é sustentada pelo Unity Catalog, onde organizamos 17 catálogos por domínio de negócio (Vendas, Finanças, RH, Operações, etc). Isso fornece um controle granular: mascaramento de dados sensíveis, linhagem automática e uma auditoria completa. Por fim, a adoção de arquitetura serverless fechou o pacote, trazendo escalabilidade sob demanda e redução de custos.
Inteligência e Orquestração de IA
Com a fundação estabelecida sobre dados confiáveis, construímos então a camada de inteligência.
- Utilizamos o Agent Bricks como nossa plataforma de orquestração e criação de agentes de IA.
- A integração via MCP (Model Context Protocol) conecta o Databricks a todos os sistemas satélites da empresa, permitindo que o Claude e outros modelos combinem análise de dados e execução de tarefas em um único ponto de acesso.
Produtos e Experiências de IA
Implementamos o Genie como o LLM que entende o contexto da corporação. Ele se conecta diretamente aos dados governados para que o time possa extrair insights em tempo real.
Hoje, de analistas de negócio a gestores operacionais, todos consultam dados e disparam ações via GenAI, usando linguagem natural. Dessa forma, não há mais dependência de relatórios estáticos ou intermediários técnicos. Em resumo, é a democratização do dado com a segurança da governança: todos consumindo do mesmo ambiente, com a mesma confiança.
Alguns exemplos de perguntas habilitadas:
RH: “Quantos funcionários ativos temos por área?”
Operação: “Qual foi a produção desta semana versus a da semana passada?”
Financeiro: “Quais centros de custo estão acima do orçamento?”
ESG: “Qual o índice de frequência de acidentes no trimestre?”
Manutenção: “Quais equipamentos têm manutenção preventiva atrasada?”
Suprimentos: “Quais contratos vencem nos próximos 30 dias?”
Dados/TI: “Quando foi o último load da tabela Gold de RH?”
Resultados
- 17 catálogos cobrindo 100% das áreas;
- 3 Genie Spaces ativos para usuários de negócio;
- 30+ modelos disponíveis, incluindo Claude e GPT;
- Governança completa com Unity Catalog e Row-Level Security.
Conclusão
O ambiente de dados do nosso cliente é uma plataforma Lakehouse moderna, governada e orientada à inteligência artificial. Portanto, a combinação de Azure Databricks com Unity Catalog, Compute Serverless, Genie AI e integração via MCP com Claude posiciona a empresa na vanguarda do uso de dados no setor de mineração.
Em resumo, o domínio de tecnologias de ponta é o que faz diferença para arquitetar soluções que realmente movem o ponteiro do negócio. Porém mais do que implementar ferramentas, nós orquestramos o melhor do ecossistema de dados e IA para entregar resultados com a segurança e a escalabilidade.