A primeira coisa a saber sobre a malha de dados é que as pessoas esperam muito dela.
A malha de dados é frequentemente mal interpretada como uma tecnologia ou solução específica quando, na verdade, está mais para um arcabouço conceitual. Na verdade, trata-se de uma "abordagem sociotécnica", conforme descrito por Zhamak Dehghani, a criadora do conceito de malha de dados.
Como muitos confundem malha de dados com uma tecnologia específica que podem adquirir capaz de resolver todos os problemas, organizações afirmam desejar adotar a malha de dados, mas depois enfrentam dificuldades para implementá-la na prática.
Então a malha de dados já está de saída? Analistas sugeriram que a malha de dados corre o risco de desaparecer, uma tendência em decadência em 2024. A Gartner colocou a malha de dados na fase de acionador de inovação do Hype Cycle for Data Management, mas previu que ela ficará "obsoleta antes de se estabilizar".
Mas acreditamos que a morte da malha de dados é um enorme exagero. O conceito não teve nem uma oportunidade justa de crescer. A malha de dados não é a solução, é uma estratégia. É uma estrutura de tomada de decisões. Se você enxergar dessa forma, ela pode ser um guia útil à medida que você avalia as mudanças nas pessoas, nos processos e na tecnologia que prepararão sua empresa para o sucesso.
A malha de dados é uma estrutura mais útil do que nunca na era da inteligência artificial.
De acordo com um estudo do MIT, menos de 10% das empresas têm aplicações da IA generativa em produção. Quase 60% dizem que não fizeram nenhuma alteração no seu ambiente de dados para adequá-lo à AI generativa ou habilitá-la. Essas organizações precisam de uma estrutura que guie sua estratégia de arquitetura de dados para uma implementação bem-sucedida de inteligência artificial. E essa é a deixa da malha de dados.
O objetivo da malha de dados é empoderar os especialistas na área de negócios a gerenciar seus próprios pipelines de dados. E qual é o grupo de talentos a explorar em aplicações de IA? Os especialistas na área de negócios.
Os usuários corporativos são um recurso crítico para a aquisição de dados, identificação de casos de uso, análise exploratória e avaliação de resultados. Quando os usuários que têm a lógica do negócio são excluídos das iniciativas de inteligência artificial, a adoção não avança. A malha de dados pode ajudar a garantir que os usuários empresariais tenham voz na tomada das decisões.
Isso requer conhecimento especializado na linha de negócios em todas as etapas da jornada de IA/ML. Uma estrutura de dados realmente amigável para os negócios pode tornar essa participação uma realidade.
Se você está pensando em usar a malha de dados para construir uma arquitetura capaz de apoiar a adoção da inteligência artificial em toda a empresa, aqui estão algumas coisas que você deve e não deve fazer:
NÃO ADOTE: uma plataforma de dados self-service que não seja realmente self-service
A cultura de malha de dados possibilita a responsabilização sobre os domínios. Isso significa empoderar os responsáveis pelas áreas! Se você não está fazendo isso, não compreende o conceito de malha de dados. E essa é uma armadilha comum.
Os líderes de analytics podem ficar entusiasmados com a malha de dados, adotar uma nova plataforma e empolgante como o Microsoft Fabric e perceber (opa!) que os analistas financeiros, acostumados a trabalhar no Excel, não conseguem usar de verdade o Power Query. Ou eles migram para um data warehouse baseado em SQL e entregam as chaves para a equipe de vendas, que não sabe o que fazer com um livro-caixa.
Para realmente habilitar uma cultura de malha de dados, é necessário tornar o trabalho de analytics acessível aos especialistas comerciais não técnicos que irão assumir o processo analítico. É por isso que plataformas self-service representam um dos pilares da malha de dados.
Por isso, garanta que sua plataforma de analytics seja realmente self-service. Invista em soluções tecnológicas projetadas para os usuários corporativos usarem, independentemente das habilidades que tenham em dados.
Cuidado com plataformas que afirmam ser self-service, mas que na prática não são amigáveis para os funcionários e exigem mais conhecimento técnico do que o esperado. Ficará impossível avançar e você se verá entre os 90% de empresas que não implementarem nem o primeiro caso de uso da IA generativa.
FAZER: construa uma base de conhecimento em dados para todas as funções
A malha de dados requer conhecimento em dados que alcance toda a organização. Ao mudar para uma abordagem mais descentralizada, você precisa democratizar entre todos o conhecimento fundamental em dados que antes era centralizado na equipe de dados.
Os especialistas da sua área de negócios já possuem conhecimentos consideráveis sobre dados que podem ser úteis: conhecimento da área e de casos de uso. O que os dados significam no contexto do negócio? O que você pode fazer com eles? Quais são os resultados comerciais que você pode obter?
Contudo, os especialistas em negócios ainda carecem de uma compreensão aprofundada dos conceitos de dados:
- Como acessar os dados da fonte de armazenamento que sua organização usa
- O que significa lidar com diferentes tipos de dados
- Como reconhecer problemas na qualidade do seu conjunto de dados
À medida que você faz a transição para uma cultura de malha de dados, você deve lançar um programa de formação em dados que invista no treinamento e na capacitação que prepararão seus especialistas de área para o sucesso quando for a vez deles de liderar a jornada de analytics e IA.
NÃO FAZER: abandonar a governança, pois a qualidade dos dados se torna ainda mais crítica
Você precisa ser capaz de confiar nos dados por trás dos seus modelos de IA e ML. Isso significa incorporar governança em todas as etapas da sua jornada de analytics, desde a coleta de dados até o treinamento do modelo.
Só porque a malha de dados implica a propriedade descentralizada dos dados, não quer dizer que a governança e os padrões de qualidade estejam sendo deixados de lado. Na verdade, a malha de dados ajuda a melhorar a qualidade dos dados à medida que os usuários corporativos se envolvem mais no processo de IA/ML. Um dos princípios da malha de dados é a governança federada, que orienta como estabelecer a governança entre as equipes de negócio.
Algumas sugestões para colocar isso em prática (e cada uma delas deve ser uma colaboração entre especialistas em negócios e especialistas em TI/dados):
- Crie um comitê multifuncional de governança de dados
- Realize auditorias regulares de acurácia dos dados
- Estabeleça padrões claros de dados
- Elaborar políticas de uso de dados
A Alteryx AI Platform for Enterprise Analytics não apenas se encaixa na estratégia de malha de dados como também a facilita. A plataforma de inteligência artificial da Alteryx é genuinamente self-service e capacita os usuários empresariais a trabalhar com dados. Com ela, os responsáveis pelas diferentes áreas contam com ferramentas fáceis de usar e os recursos de aprendizagem necessários para realmente comandar a jornada de analytics.
Ao mesmo tempo, o Alteryx também responde aos requisitos de governança e infraestrutura que acompanham um modelo self-service de gestão de dados. Ele traz uma interface analítica fácil de usar para infraestruturas como Microsoft, Databricks e Snowflake, por isso respeita as políticas de governança e os controles de acesso baseados em função que vêm junto a essas tecnologias. O Alteryx também possui recursos integrados de auditabilidade, como fluxos de trabalho anotados que facilitam a documentação de cada passo da transformação de dados.
Pensando em ir em frente com a malha de dados na sua organização? Converse hoje mesmo com um especialista da Alteryx sobre seus objetivos de implementação ou confira mais recursos abaixo.
AWS + Snowflake + Alteryx: guia técnico
Casos de uso da IA generativa: promovendo a inovação em todos os setores