Guia essencial para a IA explicável (XAI)

A IA explicável (XAI)

é uma inteligência artificial (IA) que ajuda qualquer pessoa sem conhecimentos técnicos ou em data science, a entender como modelos de machine learning (ML) alcançam uma decisão.

Por exemplo, se você treinar um algoritmo de ML utilizando um conjunto de dados financeiros para determinar se deve aprovar um pedido de empréstimo, a XAI pode entregar a resposta e ainda, informar como e porque obteve tal conclusão.

Esse processo é diferente dos modelos caixa-preta, mais comuns no universo do ML, onde alguns casos são mais interpretáveis do que outros. Podemos citar a árvore de decisão que gera resultados facilmente traduzíveis, enquanto redes neurais são mais opacas. Por isso, muitas vezes há um desequilíbrio entre acurácia e explicabilidade.

Além disso, até mesmo especialistas que projetam e implantam modelos caixa-preta desconhecem os recursos utilizados pelo algoritmo, ou de que forma foram empregados para gerar um valor determinado.

No exemplo anterior do pedido de empréstimo, um modelo caixa-preta poderia apenas fornecer uma classificação para ajudar sua decisão de aprovar ou recusar a operação.

Para empresas e lideranças que precisam assegurar transparência, exatidão e decisões imparciais, resultados de modelos caixa-preta são arriscados. E a maioria utiliza um servidor proxy para justificar seus trabalhos.

Recusar um empréstimo para alguém que, de outra maneira, apresentasse credibilidade e capacidade financeira para ser aprovado pode levar a denúncias por discriminação. Para qualquer organização, modelos caixa-preta e decisões inadequadas também podem acarretar a perda de clientes com a quebra de confiança ou oportunidades desperdiçadas.

Outros usos da XAI incluem ainda:

• Instituições financeiras que usam modelos de ML para aprovação ou restrição de empréstimos
• Seguradoras que utilizam modelos de ML para definir taxas de seguros
• Reivindicações de ajustes envolvendo modelos de ML para calcular valores do reembolso
• Instituições educacionais que empregam o ML para avaliar candidatos
• Departamentos de RH que recorrem a modelos de ML para filtrar novos talentos
• Prestadores de serviços do setor de saúde que aproveitam modelos de ML para explicar opções de tratamento e decisões de sinistros

A importância da explicabilidade da IA

A XAI é fundamental por dois motivos: transparência e confiabilidade externa e interna.

Transparência e confiabilidade externa

A importância da explicabilidade da IA vai além de decisões inconsistentes. De forma geral, os indivíduos ainda desconfiam da IA - ou pelo menos, quando ela substitui pessoas.

A Harvard Business Review (HBR) conduziu experimentos cegos entre descrições elaboradas pela IA e por pessoas sobre diferentes produtos, tais como casacos, perfumes, casas e doces.

E os grupos privilegiaram informações geradas pela IA com mais frequência, ao menos quando as decisões deles eram baseadas em "qualidades utilitárias e funcionais".

Mais importante ainda, a HBR "descobriu que pessoas estão dispostas a adotar recursos de IA, desde que eles atuem de forma colaborativa, ao invés de substituir a capacidade humana.

A XAI apresenta um bom desempenho com modelagem assistida e aplicações de IA aumentada. O potencial da tecnologia ajuda profissionais com qualquer formação a esclarecer por que certos dados são usados e como respostas são geradas.

Considere a hipótese de alguém em busca de conselhos de investimento para aposentadoria. Pode ser que o investidor possua fontes de receita e objetivos claros, e então procure você para orientá-lo. As informações podem ser analisadas por um modelo de machine learning e você é capaz de oferecer diretrizes acionáveis ao cliente.

Ao aplicar a IA a seu favor, você pode justificar suas escolhas e detalhar quais dados foram explorados para atingir resultados específicos.

Há outras inúmeras possibilidades também.

Essa é a parte da equação centrada no cliente. A etapa seguinte é a parte interna da equação.

Transparência e confiabilidade interna

Mesmo com os atuais modelos de ML, há ocasiões que sempre favorecem o viés de distorção e degradação.

Em geral, os dados aparecem enviesados, com ou sem intenção. Idade, raça, sexo, histórico de saúde, situação financeira, renda, localização e outros diversos fatores podem gerar tendências. Na verdade, todos os dados carregam tendências, e alguns possuem atributos protegidos que são inutilizáveis por modelos. E sempre existe o risco dessas entradas interferirem sobre a forma como a IA aprende.

Ao reunir esses parâmetros em uma caixa-preta, um modelo de ML pode apresentar resultados que beneficiem apenas um grupo definido de pessoas.

Além disso, o treinamento da IA nunca é uma tarefa simples. O processo também nunca é equivalente ao desempenho no mundo real.

Um modelo treinado sobre um conjunto de dados pode produzir excelentes resultados, mas quando dados do mundo real são inseridos nesse modelo, ele pode gerar valores completamente distintos.

Em poucas palavras, um analista ou cientista de dados pode construir um modelo caixa-preta de ML com desempenho impecável e imparcial durante o treinamento, mas após a implementação, revelar resultados distorcidos ou insatisfatórios.

E muitas vezes é necessário adaptar esses modelos às mudanças nas informações ou regulamentos.

De 18 de novembro a 14 de dezembro de 2021, um relatório de rastreamento da Brookings apontou 43 regulamentações em vigor, ou revogadas, afetando áreas como finanças, fabricação, saúde, e muitas outras.

Garantir e esclarecer como modelos caixa-preta foram atualizados de acordo com novos regulamentos ou alterações seria complexo, ou mesmo impossível.

A XAI simplifica a atualização e aperfeiçoamento dos modelos, além de avaliar a eficácia ‒ e ao mesmo tempo assegurar a conformidade com as normas em vigor. E claro, ainda existe o benefício adicional de possuir uma trilha de dados auditáveis.

IA interpretável versus IA explicável

Enquanto analistas e cientistas de dados constroem modelos de ML, normalmente quem precisa entender os resultados são aqueles que ocupam cargos executivos e outras funções de liderança.

E essa é a principal importância da XAI e uma das maiores diferenças entre essa tecnologia e a IA interpretável.

Enquanto a XAI é um subconjunto de IA focado em tornar modelos de ML mais compreensíveis para pessoas sem formação em data science, a IA é um subcampo de ML centrado na transparência e na interpretabilidade dos algoritmos.

Os métodos de IA orientam o desenvolvimento e a implementação da XAI através de quatro questões-chave:

1. Quem pode desejar explicações sobre os resultados?
2. Por que os resultados devem ser explicados e por quais motivos?
3. Quais são as possíveis técnicas para explicar os resultados?
4. O que deve ser explicado antes, durante e após a construção do modelo?

No exemplo da recomendação financeira acima, uma empresa pode desenvolver um modelo de XAI e utilizar as seguintes perguntas como guia:

Quem pode desejar explicações sobre os resultados? 

• Clientes
• Gerente/Executivo
• Agência reguladora

Por que os resultados devem ser explicados e por quais motivos?

• Ajudar clientes a entender por que as opções de investimento sugeridas são as que fazem mais sentido em suas jornadas
• Auxiliar tomadores de decisões a compreender por que você aconselha determinados planos de investimento em detrimento de outros
• Manter a conformidade e agilizar processos de auditoria

Quais são as possíveis técnicas para explicar os resultados?

• Justificar as recomendações com base na lógica financeira e/ou emocional
• Demonstrar o valor de recomendações centradas no cliente e baseadas nos negócios
• Evidenciar como decisões obedecem às normas e como o modelo garante isso

O que deve ser explicado antes, durante e após a construção do modelo?

• Por quais motivos informações específicas são coletadas, de que forma são aproveitadas, e como elas influenciam as recomendações
• A importância de desenvolver o modelo e identificar as principais alterações para explicar seus resultados a clientes e executivos
• Como o modelo aborda as atuais regulamentações e como pode ser modificado para atender às novas e futuras regras

Exemplos de IA explicáveis

É indiscutível que um dos usos mais frequentes para a XAI é no contexto regulatório. Avaliações de risco, pontuações de crédito e decisões sobre reinvindicações exigem um estudo aprofundado.

Mas o potencial da XAI é capaz de impulsionar diversas indústrias e setores, mesmo quando não há regulamentos envolvidos. É evidente que o aspecto de explicabilidade da XAI pode fortalecer a tomada de decisões em múltiplas áreas e departamentos, e ainda:

• Garantir que a análise de sentimentos compreenda o contexto e o significado das palavras usadas
• Modificar previsões de demanda quando novos dados entram em conflito com dados de treinamento e influenciam o desempenho do modelo
• Aumentar a precisão de diagnósticos médicos e ajudar pacientes a entender os resultados do processo
• Tomar decisões em tempo real sobre tratamentos médicos de emergência e triagem
• Explicar decisões de recrutamento tomadas por departamentos de RH
• Proporcionar sugestões de marketing e aumentar a relevância das comunicações e ofertas promocionais
• Recomendar ações futuras para representantes de vendas e calcular comissões
• Explicar a lógica por trás de soluções para otimização de preços
• Adaptar chats de atendimento com base no feedback de clientes alinhados com a análise de sentimentos

Há inúmeros casos de uso para a XAI, mas a essência consiste em simplificar a complexidade dos resultados alcançados por modelos de machine learning. Nem todo mundo precisa saber como o modelo de ML funciona, mas todos devem confiar nos resultados. E a XAI pode ser a maior aliada nesse processo.

Como escolher a plataforma ideal para a explicabilidade do modelo

A plataforma de ML adequada depende de uma série de fatores, mas o primeiro passo é responder às seguintes questões:

• Quem precisa usá-la para criar modelos?
• Quem precisa usá-la para explicar resultados?
• Quais tipos de dados você utiliza?
• Quais tipos de respostas você deseja alcançar?

Quem necessita usá-la para desenvolver e implantar modelos?

Talvez você ainda não tenha uma equipe de data science. Ou nem mesmo um cientista de dados.

Quase 80% das empresas não possuem nenhum cientista de dados; portanto, é muito provável que o usuário da sua plataforma seja analista ou trabalhador do conhecimento.

Você precisa de uma plataforma que qualquer um possa utilizar para criar modelos - e não apenas sua equipe atual, mas também as futuras contratações.

Plataformas internas baseadas em nuvem com recursos de arrastar e soltar (ou de baixo código/sem código) permitem reduzir a curva de aprendizado para a compreensão e adoção da data science.

Plataformas com ML automatizado (AutoML) reduzem ainda mais essa curva, oferecendo caminhos guiados e recomendações para aplicação de modelos, eliminando a necessidade básica de entender a ordem e os métodos de cálculo.

Se a sua empresa possui um time dedicado de cientistas de dados, é possível usar o AutoML e plataformas intuitivas para agilizar a produtividade, mas provavelmente sua equipe vai preferir usar Python, R, ou qualquer outra linguagem ao mesmo tempo.

Quem precisa usá-la para explicar resultados?

Assim como sua equipe analítica, também haverá uma diversidade de experiências e conhecimentos entre as principais lideranças e diretores executivos.

Para isso, a plataforma precisa atender tanto gerentes recém-contratados ou promovidos internamente, como líderes de alto escalão que talvez não interajam regularmente com a XAI.

Os modelos de ML que fornecem trilhas de dados claras, anotações para explicar pontos de dados e sugestões automatizadas, diminuem sua própria curva de aprendizado, assim como a de seus colaboradores.

Além disso, as plataformas que geram resultados programados e convertem modelos em aplicativos analíticos compartilháveis, estimulam a organização a democratizar os dados e promover a transparência.

Quais tipos de dados você utiliza?

Consulte sua equipe. Pergunte a todos sobre os tipos de dados utilizados e de que forma eles são integrados às análises atuais.

Um dos maiores desafios para o desenvolvimento de modelos de ML é o trabalho de preparo que antecede os estágios iniciais.

Plataformas de AutoML que também automatizam a análise, como o preparo e a limpeza de dados, podem acelerar consideravelmente o processo de implementação.

Verifique como a plataforma opera com diferentes conjuntos e fontes de dados. Ela tem capacidade para avaliar a totalidade desses conjuntos ou será que os dados exigem tarefas adicionais antes de serem manipulados? Qual a probabilidade de reproduzir o processo se precisar aplicar em previsões ou outros modelos que exigem alterações?

Quais tipos de respostas você deseja alcançar?

Algumas pessoas podem esperar uma semana, um mês ou até mesmo um trimestre por um relatório. Outras precisam de resultados imediatos.

Quanto maior o senso de urgência para obter insights, maior a necessidade de uma plataforma capaz de se adaptar e incorporar novos dados rapidamente. Isso inclui todos os processos mencionados previamente, como preparo e limpeza.

Todos os modelos da XAI podem ajudar você a solucionar dúvidas de clientes, de colaboradores e as suas próprias perguntas também. Como mencionamos acima, quanto menor for a curva de aprendizado, maior será sua agilidade e capacidade para entregar resultados.

Procure uma plataforma de ML acessível para todos, inclusive você.