são o monitoramento ativo dos modelos em uso, ajustes contextuais para garantir relevância e eficácia contínuas, otimização de algoritmos para aprimoramento de performance, feedback iterativo para refinamento constante e alinhamento com os objetivos de negócios da organização.

Esses elementos asseguram que os modelos de AI e ML sejam não apenas eficientes no momento da implementação, mas que permaneçam efetivos e relevantes à medida que as condições de negócios e os dados evoluem.

O propósito da Model Curation & Improvement é promover uma gestão proativa dos modelos de AI e ML, garantindo que continuem a atender e superar os padrões de desempenho e qualidade.

Esta gestão envolve uma avaliação contínua dos modelos para identificar áreas de melhoria, assegurando sua precisão e relevância em um ambiente empresarial em constante mudança.

Os objetivos da Model Curation & Improvement são claros e bem definidos dentro do CIO Codex Capability Framework.

Incluem o monitoramento contínuo dos modelos implantados, a realização de ajustes e otimizações conforme necessários, a adaptação efetiva às mudanças nas condições de negócios e nos dados, a busca constante por precisão aprimorada e a manutenção da relevância dos modelos.

Em termos de impacto tecnológico, a Model Curation & Improvement afeta diversas dimensões.

Pode influenciar a infraestrutura necessária para suportar os modelos, afetar a arquitetura de dados ao definir a estrutura dos modelos, requerer integrações adicionais ou ajustes nos sistemas existentes e impactar a segurança cibernética ao considerar a proteção dos dados utilizados nos modelos.

Além disso, redefine o modelo operacional ao introduzir procedimentos de curadoria contínua e otimização dos modelos, exigindo adaptações nas operações cotidianas da organização.

Em resumo, a Model Curation & Improvement é uma capability fundamental dentro do CIO Codex Capability Framework, essencial para assegurar que as tecnologias de AI e ML se mantenham eficazes e alinhadas com os objetivos de negócio.

Esta capability não só permite a manutenção contínua da precisão e relevância dos modelos, mas também garante que eles continuem a prover insights valiosos e suporte efetivo para decisões estratégicas, tornando-se um pilar vital para a inovação e a vantagem competitiva sustentável em um mercado em rápida evolução.

Conceitos e Características

A Model Curation & Improvement é vital para garantir que as tecnologias de AI e ML continuem a prover insights valiosos e suportar tomadas de decisões informadas.

Sua abordagem proativa de monitoramento e ajustes garante que os modelos permaneçam na vanguarda da eficácia, adaptando-se às mudanças dinâmicas do ambiente de negócios.

Conceitos

• Inteligência Artificial (AI): Refere-se à capacidade de uma máquina ou sistema realizar tarefas que normalmente exigiriam inteligência humana, como aprendizado, raciocínio e tomada de decisões.
• Machine Learning (ML): É uma subárea da AI que se concentra em desenvolver algoritmos e modelos que permitem que as máquinas aprendam com dados e melhorem seu desempenho ao longo do tempo.
• Model Curation: Envolve a seleção e manutenção cuidadosa dos modelos de AI e ML, garantindo que eles atendam aos objetivos e padrões de desempenho estabelecidos.
• Continuous Improvement: Refere-se à prática de avaliar e aprimorar constantemente os modelos para otimizar sua eficácia e precisão.

Características

• Monitoramento Ativo: A capability realiza monitoramento constante dos modelos em uso, avaliando seu desempenho em tempo real.
• Ajustes Contextuais: Compreende a capacidade de ajustar os modelos de acordo com as mudanças nas condições de negócios e dados, garantindo sua relevância contínua.
• Otimização de Algoritmos: Envolve a otimização dos algoritmos subjacentes para melhorar a eficácia e a precisão dos modelos.
• Feedback Iterativo: Incorpora feedback dos usuários e dos processos para refinamento contínuo.
• Alinhamento com Objetivos de Negócios: Assegura que os modelos estejam alinhados com os objetivos estratégicos da organização.

Propósito e Objetivos

A capability Model Curation & Improvement, ou Curadoria e Melhoria de Modelos, desempenha um papel essencial na garantia da eficácia contínua dos modelos de Inteligência Artificial (AI), Machine Learning (ML) e outras tecnologias similares.

Seu propósito fundamental é promover a curadoria e aprimoramento contínuo desses modelos, assegurando que eles permaneçam eficazes, precisos e relevantes em um ambiente empresarial em constante evolução.

Objetivos

Dentro do contexto do CIO Codex Capability Framework, a Model Curation & Improvement busca atingir os seguintes objetivos:

Monitoramento Constante: Realizar o monitoramento constante dos modelos implantados, acompanhando seu desempenho em tempo real.

Ajustes e Otimizações: Identificar oportunidades de ajustes e otimizações nos modelos, garantindo que eles continuem a atender aos requisitos de negócios.

Adaptação às Mudanças: Assegurar que os modelos se adaptem efetivamente às mudanças nas condições de negócios, como flutuações nos dados e nas demandas do mercado.

Precisão Aprimorada: Buscar constantemente aprimorar a precisão dos modelos, tornando-os mais confiáveis e eficazes.

Relevância Sustentada: Certificar-se de que os modelos permaneçam relevantes, refletindo as necessidades em constante evolução da organização.

Impacto na Tecnologia

A Model Curation & Improvement tem impacto direto em várias dimensões tecnológicas:

• Infraestrutura: Pode influenciar a infraestrutura necessária para suportar a escalabilidade e o processamento contínuo de dados para os modelos.
• Arquitetura: Afeta a arquitetura dos modelos, garantindo que eles estejam alinhados com a arquitetura de TI da organização.
• Sistemas: Pode requerer integrações adicionais ou ajustes nos sistemas existentes para acomodar as atualizações nos modelos.
• Cybersecurity: A manutenção e melhoria de modelos de IA também devem considerar a segurança dos dados e dos resultados.
• Modelo Operacional: Impacta o modelo operacional ao introduzir procedimentos de curadoria contínua e otimização dos modelos.

Roadmap de Implementação

A capability de Model Curation & Improvement, ou Curadoria e Melhoria de Modelos, é uma peça fundamental na macro capability de AI, ML, RPA, Bots e Other Technologies, dentro da camada New Technology Exploration.

Esta capability desempenha um papel crucial na manutenção e otimização contínua de modelos de Inteligência Artificial (AI) e Machine Learning (ML), garantindo que eles permaneçam eficazes e relevantes em um ambiente empresarial em constante evolução.

Abaixo, um roadmap de implementação para essa capability, considerando os principais pontos do CIO Codex Capability Framework:

• Definição de Objetivos Claros: Inicie o processo estabelecendo objetivos claros para a curadoria e melhoria de modelos de AI e ML. Esses objetivos devem estar alinhados com as metas estratégicas da organização.
• Identificação de Modelos Críticos: Identifique os modelos de AI e ML que desempenham um papel crítico nos processos de negócios e nas tomadas de decisão. Esses modelos serão a prioridade na curadoria.
• Monitoramento Ativo: Implemente um sistema de monitoramento contínuo para avaliar o desempenho dos modelos em tempo real. Isso envolve a coleta de dados relevantes e o estabelecimento de métricas-chave.
• Feedback Iterativo: Incorpore feedback dos usuários e dos processos para identificar áreas de melhoria nos modelos. Esse feedback contínuo é essencial para aprimoramentos constantes.
• Ajustes Contextuais: Desenvolva a capacidade de ajustar os modelos de acordo com as mudanças nas condições de negócios e nos dados. Isso garante que os modelos permaneçam relevantes.
• Otimização de Algoritmos: Implemente práticas para otimizar os algoritmos subjacentes aos modelos. Isso pode envolver ajustes nos algoritmos de ML para melhorar a precisão.
• Alinhamento com Objetivos de Negócios: Certifique-se de que os modelos estejam alinhados com os objetivos estratégicos da organização. Isso envolve uma avaliação regular da relevância dos modelos.
• Documentação Completa: Mantenha documentação detalhada de todas as mudanças, ajustes e otimizações realizadas nos modelos. Isso é fundamental para a rastreabilidade e o compartilhamento de conhecimento.
• Adaptação às Mudanças: Esteja preparado para adaptar os modelos a mudanças significativas no ambiente de negócios, como flutuações nos dados ou alterações nas demandas do mercado.
• Avaliação de Resultados: Avalie regularmente os resultados alcançados por meio da curadoria e melhoria de modelos. Meça o impacto na precisão, eficácia operacional e tomada de decisões.
• Treinamento e Capacitação: Certifique-se de que as equipes envolvidas na curadoria e melhoria de modelos estejam devidamente treinadas e atualizadas com as melhores práticas.
• Integração com Estratégia de TI: Alinhe a curadoria de modelos com a estratégia de Tecnologia da Informação da organização. Isso envolve garantir que a infraestrutura e a arquitetura de TI suportem as necessidades dos modelos.
• Governança e Compliance: Implemente políticas de governança para garantir que a curadoria e melhoria de modelos estejam em conformidade com regulamentações e padrões éticos.
• Comunicação Efetiva: Comunique as melhorias nos modelos de forma eficaz às partes interessadas internas e externas. Destaque os benefícios alcançados pela curadoria.
• Compartilhamento de Conhecimento: Estabeleça um sistema de compartilhamento de conhecimento para disseminar as melhores práticas de curadoria e melhoria de modelos dentro da organização.

A Model Curation & Improvement é uma capability estratégica que assegura que as tecnologias de AI e ML continuem a prover insights valiosos e suportar tomadas de decisões informadas.

Este roadmap guiará a implementação eficaz dessa capability, garantindo que os modelos permaneçam na vanguarda da eficácia em um ambiente de negócios dinâmico.

Melhores Práticas de Mercado

A capability de Model Curation & Improvement desempenha um papel crucial na macro capability AI, ML, RPA, Bots e Other Technologies, na camada New Technology Exploration.

Ela tem como objetivo garantir a eficácia contínua dos modelos de Inteligência Artificial (AI) e Machine Learning (ML) por meio da curadoria e aprimoramento constantes.

A seguir, uma lista das principais melhores práticas de mercado dentro do contexto do CIO Codex Capability Framework:

• Monitoramento Ativo: Realizar monitoramento constante dos modelos de AI e ML em uso. Isso envolve o acompanhamento em tempo real do desempenho desses modelos para identificar qualquer desvio ou problema.
• Ajustes Contextuais: Ter a capacidade de ajustar os modelos de acordo com as mudanças nas condições de negócios e dados. Isso garante que os modelos permaneçam relevantes e precisos em um ambiente dinâmico.
• Otimização de Algoritmos: Investir na otimização dos algoritmos subjacentes aos modelos. Isso visa melhorar a eficácia e a precisão dos modelos ao longo do tempo.
• Feedback Iterativo: Incorporar feedback dos usuários e dos processos nos modelos. Isso permite refinamentos contínuos e ajustes com base nas necessidades reais.
• Alinhamento com Objetivos de Negócios: Certificar-se de que os modelos estejam alinhados com os objetivos estratégicos da organização. Isso garante que os modelos contribuam diretamente para os resultados desejados.
• Padrões de Desempenho Estabelecidos: Definir padrões de desempenho claros para os modelos. Isso facilita a avaliação contínua e a medição do sucesso da curadoria.
• Automação de Processos de Curadoria: Implementar automação sempre que possível nos processos de curadoria e aprimoramento dos modelos. Isso pode incluir a automação de ajustes e otimizações.
• Treinamento e Desenvolvimento de Modelos: Investir na formação das equipes responsáveis pela curadoria dos modelos, garantindo que tenham as habilidades necessárias para realizar ajustes eficazes.
• Compliance e Segurança: Garantir que os modelos estejam em conformidade com regulamentações e que medidas de segurança adequadas sejam aplicadas durante o processo de curadoria.
• Documentação Abrangente: Manter documentação completa e detalhada de todas as atividades de curadoria e aprimoramento dos modelos. Isso é essencial para a rastreabilidade e a conformidade.

Essas melhores práticas de mercado são fundamentais para garantir que os modelos de AI e ML continuem a prover insights valiosos e suportem tomadas de decisões informadas.

A Model Curation & Improvement desempenha um papel estratégico na adaptação desses modelos às mudanças dinâmicas do ambiente de negócios, contribuindo para a eficácia e a relevância contínuas dessas tecnologias avançadas.

Desafios Atuais

A capability de Model Curation & Improvement, que se concentra na curadoria e aprimoramento contínuo de modelos de Inteligência Artificial (AI), Machine Learning (ML) e outras tecnologias similares, enfrenta desafios significativos no atual cenário de negócios e tecnologia.

Neste contexto, os principais desafios atuais que as organizações enfrentam ao adotar e integrar essa capability em seus processos de negócios e operações de TI, com base nas melhores práticas de mercado e no contexto do CIO Codex Capability Framework:

• Explosão de Dados: A crescente quantidade de dados disponíveis representa um desafio, pois requer maior poder computacional e técnicas avançadas de modelagem.
• Monitoramento em Tempo Real: Garantir o monitoramento em tempo real de modelos é crucial para a detecção precoce de problemas e ajustes contínuos.
• Interpretabilidade: Modelos complexos de AI e ML muitas vezes carecem de interpretabilidade, dificultando a compreensão de como eles tomam decisões.
• Ética e Viés: Lidar com questões éticas, como viés nos modelos, é um desafio crítico para garantir a justiça e a equidade.
• Treinamento de Pessoal: Capacitar a equipe para lidar com modelos complexos e suas necessidades de manutenção é essencial.
• Rápida Obsolescência: Em um ambiente em constante evolução, os modelos podem se tornar obsoletos rapidamente, exigindo atualizações frequentes.
• Segurança de Dados: A proteção dos dados usados nos modelos é crucial, especialmente em relação à privacidade e à conformidade regulatória.
• Integração Contínua: Garantir a integração contínua de modelos otimizados com sistemas e fluxos de trabalho existentes é desafiador.
• Avaliação de Impacto: Medir o impacto real dos modelos em termos de retorno sobre o investimento e metas de negócios é complexo.
• Transparência: Manter transparência nas operações de modelagem, incluindo documentação e rastreabilidade, é essencial para fins de auditoria e conformidade.

Esses desafios destacam a importância crítica da capability de Model Curation & Improvement no cenário atual.

Esta capability desempenha um papel vital na garantia de que as tecnologias de AI e ML continuem a prover insights valiosos e suportar tomadas de decisões informadas.

Ao enfrentar esses desafios com uma abordagem proativa de monitoramento e ajustes, as organizações podem manter seus modelos na vanguarda da eficácia, adaptando-se às mudanças dinâmicas do ambiente de negócios e garantindo que eles permaneçam relevantes e precisos.

Tendências para o Futuro

A capability de Model Curation & Improvement, ou Curadoria e Melhoria de Modelos, desempenha um papel crucial na manutenção da eficácia contínua dos modelos de Inteligência Artificial (AI), Machine Learning (ML), RPA e Bots, garantindo que eles permaneçam relevantes e precisos no ambiente empresarial em constante evolução.

Para antecipar como essa capability pode evoluir e se adaptar às mudanças no mercado, as principais tendências futuras dentro do contexto do CIO Codex Capability Framework:

• Automação de Curadoria: A automação desempenhará um papel fundamental na curadoria de modelos, permitindo ajustes mais rápidos e precisos com base em dados em tempo real.
• Expansão para Outras Tecnologias: Além de AI e ML, a Model Curation & Improvement se estenderá a outras tecnologias emergentes, como processamento de linguagem natural (NLP) e visão computacional.
• Foco na Ética e Interpretabilidade: A ênfase na ética em IA e na interpretabilidade dos modelos aumentará, garantindo transparência e conformidade com regulamentações.
• Inteligência Artificial Explicável (XAI): A busca por modelos de XAI crescerá, tornando os resultados dos modelos mais compreensíveis para os stakeholders.
• Aprendizado Federado: A adoção de aprendizado federado permitirá treinamento de modelos distribuídos enquanto protege a privacidade dos dados.
• Colaboração com Modelos de Terceiros: As organizações colaborarão cada vez mais com modelos externos, expandindo seu alcance e conhecimento.
• Monitoramento Proativo: O monitoramento constante dos modelos se tornará mais proativo, identificando desvios antes que afetem negativamente os resultados.
• Melhoria Contínua da Precisão: A busca por métodos de melhoria contínua da precisão dos modelos será uma prioridade, permitindo previsões mais confiáveis.
• Experiência do Usuário Aprimorada: Os modelos serão aprimorados para proporcionar uma melhor experiência do usuário, antecipando necessidades e oferecendo insights relevantes.
• Soluções de Automação Avançada: A Model Curation & Improvement se integrará com soluções de automação avançada, como RPA, para otimizar a manutenção de modelos.

Essas tendências refletem as expectativas do mercado em relação à evolução da capability de Model Curation & Improvement.

À medida que a IA e o ML continuam a desempenhar um papel fundamental nas operações empresariais, a capacidade de manter modelos altamente eficazes e éticos se torna essencial.

A busca constante por aprimoramento e adaptação a um ambiente em constante mudança orientará o desenvolvimento futuro dessa capability, proporcionando resultados valiosos para as organizações.

KPIs Usuais

A capability de Model Curation & Improvement desempenha um papel vital na garantia da eficácia contínua dos modelos de Inteligência Artificial (AI), Machine Learning (ML) e outras tecnologias similares.

Para avaliar eficazmente essa capability e medir seu impacto, é fundamental acompanhar os Indicadores-Chave de Desempenho (KPIs) apropriados.

Dentro do contexto do CIO Codex Capability Framework, uma lista dos principais KPIs usuais para Model Curation & Improvement:

• Taxa de Precisão Aprimorada (Enhanced Accuracy Rate): Mede a melhoria na precisão dos modelos de AI e ML após a implementação de ajustes e otimizações.
• Tempo Médio de Resposta a Mudanças (Average Response Time to Changes): Avalia o tempo médio necessário para ajustar modelos em resposta a mudanças nas condições de negócios.
• Taxa de Conformidade com Padrões de Desempenho (Compliance with Performance Standards Rate): Avalia o grau em que os modelos atendem aos padrões de desempenho estabelecidos pela organização.
• Taxa de Alinhamento com Objetivos de Negócios (Alignment with Business Objectives Rate): Mede o alinhamento dos modelos com os objetivos estratégicos da organização.
• Tempo Médio de Monitoramento (Average Monitoring Time): Calcula o tempo médio dedicado ao monitoramento contínuo dos modelos em uso.
• Número de Ajustes Realizados (Number of Adjustments Made): Contabiliza a quantidade de ajustes e otimizações realizados nos modelos ao longo de um período específico.
• Taxa de Relevância Sustentada (Sustained Relevance Rate): Avalia a capacidade dos modelos de permanecerem relevantes ao longo do tempo, considerando mudanças nas demandas do mercado.
• Efetividade das Ações Corretivas (Effectiveness of Corrective Actions): Mede a eficácia das ações corretivas implementadas em resposta a problemas identificados nos modelos.
• Taxa de Adaptação a Mudanças (Adaptation to Changes Rate): Avalia a capacidade dos modelos de se adaptarem eficazmente às mudanças nas condições de negócios, como flutuações nos dados.
• Taxa de Precisão em Tempo Real (Real-Time Accuracy Rate): Mede a precisão dos modelos em prover insights em tempo real.
• Avaliação de Feedback Iterativo (Iterative Feedback Assessment): Avalia como o feedback dos usuários e dos processos é incorporado para melhorar continuamente os modelos.
• Taxa de Efetividade de Otimizações (Effectiveness of Optimizations Rate): Mede o impacto das otimizações realizadas nos modelos em termos de melhoria de desempenho.
• Taxa de Redução de Erros (Error Reduction Rate): Quantifica a diminuição de erros nos processos de negócios devido às melhorias nos modelos.
• Taxa de Alinhamento com Tendências Tecnológicas (Alignment with Technological Trends Rate): Avalia a capacidade dos modelos de se alinharem com as tendências tecnológicas emergentes.
• Taxa de Manutenção Preventiva (Preventive Maintenance Rate): Mede a frequência com que a manutenção preventiva é realizada para garantir o desempenho contínuo dos modelos.

Esses KPIs desempenham um papel crucial na medição do desempenho da capability de Model Curation & Improvement, permitindo que a organização mantenha seus modelos de AI, ML e outras tecnologias relevantes, precisos e alinhados com seus objetivos de negócios.

Através do monitoramento e otimização contínua, essa capability garante que os modelos permaneçam na vanguarda da eficácia e se adaptem às mudanças dinâmicas do ambiente de negócios.

Exemplos de OKRs

A capability de Model Curation & Improvement no âmbito do CIO Codex Capability Framework desempenha um papel crucial na garantia da eficácia contínua dos modelos de Inteligência Artificial (IA), Machine Learning (ML) e outras tecnologias similares.

Essa capability é essencial para promover a curadoria e o aprimoramento contínuo desses modelos, assegurando que eles permaneçam eficazes, precisos e relevantes em um ambiente empresarial em constante evolução.

A seguir, são apresentados exemplos de Objetivos e Resultados-Chave (OKRs) relacionados a esta capability:

Integração de Tecnologias Emergentes

Objetivo: Integrar tecnologias emergentes para transformar operações e estratégias de negócios.

• KR1: Implementar 3 novas tecnologias emergentes que melhorem a eficiência operacional.
• KR2: Aumentar em 20% a inovação de produtos/serviços com tecnologias emergentes.
• KR3: Reduzir custos operacionais em 15% por meio da adoção de novas tecnologias.

Análise Estratégica de Oportunidades

Objetivo: Realizar análises estratégicas profundas para identificar oportunidades tecnológicas.

• KR1: Conduzir 5 análises de oportunidades tecnológicas por trimestre.
• KR2: Identificar 10 oportunidades de melhoria na experiência do cliente com novas tecnologias.
• KR3: Alcançar uma taxa de 30% de implementação das tecnologias avaliadas.

Avaliação de Riscos e Desafios

Objetivo: Avaliar e mitigar riscos associados à implementação de novas tecnologias.

• KR1: Realizar avaliações de risco em 100% das tecnologias emergentes consideradas.
• KR2: Reduzir em 25% os riscos associados à segurança na adoção de novas tecnologias.
• KR3: Desenvolver 3 planos de contingência para desafios identificados.

Alinhamento com Objetivos de Negócios

Objetivo: Assegurar que a adoção de tecnologia esteja alinhada com os objetivos estratégicos.

• KR1: Alinhar 80% das iniciativas tecnológicas com os objetivos de negócios estratégicos.
• KR2: Aumentar a satisfação das partes interessadas em 20% com soluções tecnológicas alinhadas.
• KR3: Realizar 4 workshops de alinhamento estratégico por ano.

Promoção da Inovação Tecnológica

Objetivo: Estimular a inovação por meio da identificação e adoção de tecnologias disruptivas.

• KR1: Identificar 5 tecnologias disruptivas com potencial para transformação de negócios.
• KR2: Implementar 2 soluções inovadoras que resultem em novos fluxos de receita.
• KR3: Aumentar a colaboração entre equipes de tecnologia e negócios em 40% para impulsionar a inovação.

Esses OKRs destacam a importância crítica da Model Curation & Improvement na identificação e avaliação de oportunidades para aprimoramento de modelos de IA, ML e tecnologias similares.

Através desses objetivos e resultados-chave, as organizações podem maximizar o valor dessas tecnologias, alinhá-las estrategicamente com os objetivos de negócios, avaliar seu potencial e riscos, e promover a inovação.

A Model Curation & Improvement serve como um guia essencial na era da transformação digital, permitindo que as organizações explorem eficazmente essas tecnologias e obtenham vantagens competitivas sustentáveis, ao mesmo tempo em que garantem alinhamento com os objetivos estratégicos e a eficiência operacional.

Critérios para Avaliação de Maturidade

A capability Model Curation & Improvement desempenha um papel essencial na macro capability AI, ML, RPA, Bots e Other Technologies.

Seu foco está na curadoria e melhoria contínua dos modelos de AI, ML e outras tecnologias similares.

Isso inclui monitoramento constante, ajustes e otimizações para garantir que esses modelos permaneçam eficazes, precisos e relevantes diante das mudanças nas condições de negócios e dados.

Para avaliar a maturidade dessa capability, foram definidos critérios inspirados no modelo CMMI, abrangendo cinco níveis de maturidade:

Nível de Maturidade Inexistente

• A organização não reconhece a necessidade de curadoria e melhoria de modelos de AI, ML ou tecnologias similares.
• Não existem recursos alocados para atividades de curadoria e melhoria de modelos.
• Não há consciência da importância de manter modelos atualizados.
• Não existe um processo formal ou documentação relacionada à curadoria de modelos.
• A organização não monitora regularmente a eficácia de seus modelos.

Nível de Maturidade Inicial

• Reconhecimento inicial da importância da curadoria e melhoria de modelos.
• Processos informais estão sendo desenvolvidos para a curadoria de modelos.
• Recursos limitados são alocados para atividades de curadoria e melhoria.
• Início da conscientização sobre a necessidade de monitorar a eficácia dos modelos.
• Documentação básica sobre as atividades de curadoria está disponível.

Nível de Maturidade Definido

• Processos de curadoria e melhoria de modelos estão formalizados e documentados.
• As atividades de curadoria são realizadas de acordo com padrões e diretrizes definidos.
• Recursos são alocados de forma consistente para atividades de curadoria.
• A organização reconhece a importância de manter modelos atualizados.
• Documentação abrangente sobre a curadoria de modelos está disponível e atualizada.

Nível de Maturidade Gerenciado

• A gestão da curadoria de modelos é eficaz e orientada por métricas.
• Atividades de curadoria são realizadas de forma regular e estruturada.
• Recursos são alocados estrategicamente para otimizar a curadoria de modelos.
• A organização utiliza insights das atividades de curadoria para tomada de decisões.
• Boas práticas de documentação e padronização das atividades de curadoria são aplicadas.

Nível de Maturidade Otimizado

• A organização é líder na curadoria e melhoria de modelos de AI, ML e tecnologias similares.
• A curadoria de modelos é altamente eficiente e adaptável.
• Recursos são alocados estrategicamente para maximizar o valor das atividades de curadoria.
• A manutenção de modelos é fundamental para a estratégia da organização.
• A melhoria contínua na curadoria de modelos é parte da cultura organizacional.

Esses critérios de maturidade são essenciais para garantir que os modelos de AI, ML e tecnologias similares permaneçam eficazes e alinhados com os objetivos estratégicos da organização ao longo do tempo.

À medida que a organização avança nos níveis de maturidade, ela se torna mais competente na curadoria e melhoria desses modelos, garantindo assim sua relevância e precisão contínuas.

Convergência com Frameworks de Mercado

A capability Model Curation & Improvement, parte da macro capability AI, ML, RPA, Bots e Other Technologies na camada New Technology Exploration, é essencial para a curadoria e aprimoramento contínuo de modelos de Inteligência Artificial, Machine Learning e tecnologias similares.

Esta capability enfatiza o monitoramento constante, ajustes e otimizações, assegurando que os modelos se mantenham eficazes, precisos e relevantes diante das mudanças nas condições de negócios e dados.

A seguir, é analisada a convergência desta capability em relação a um conjunto dez frameworks de mercado reconhecidos e bem estabelecidos em suas respectivas áreas de expertise:

COBIT

• Nível de Convergência: Médio
• Racional: COBIT tem um foco forte em governança de TI, abrangendo aspectos de gestão e avaliação de novas tecnologias. A Model Curation & Improvement se alinha com esses princípios, embora COBIT não se especialize diretamente em AI ou ML.

ITIL

• Nível de Convergência: Baixo
• Racional: ITIL, centrado na gestão de serviços de TI, possui pouca sobreposição direta com a curadoria e melhoria de modelos de AI, uma vez que se concentra mais em operações e serviços do que em desenvolvimento de modelos.

SAFe

• Nível de Convergência: Médio
• Racional: SAFe, com seu foco em escalabilidade ágil, alinha-se parcialmente com Model Curation & Improvement, especialmente na agilidade e resposta a mudanças no desenvolvimento de modelos.

PMI

• Nível de Convergência: Médio
• Racional: O PMI, ao enfatizar o gerenciamento de projetos, inclui a implementação de novas tecnologias sob sua égide, o que se correlaciona com a melhoria contínua de modelos AI/ML.

CMMI

• Nível de Convergência: Médio
• Racional: O CMMI, focado em melhorias de processos, tem uma interseção com Model Curation & Improvement na perspectiva de refinamento e aprimoramento contínuo de processos e modelos.

TOGAF

• Nível de Convergência: Alto
• Racional: TOGAF, como um framework de arquitetura empresarial, tem uma convergência significativa com Model Curation & Improvement, especialmente na integração de modelos de AI/ML na arquitetura de TI.

DevOps SRE

• Nível de Convergência: Médio
• Racional: DevOps SRE, com sua ênfase em operações de TI e desenvolvimento rápido, possui alinhamento parcial com a melhoria contínua e adaptação de modelos tecnológicos.

NIST

• Nível de Convergência: Baixo
• Racional: NIST, focado em normas e segurança, tem pouca interseção direta com a curadoria e melhoria de modelos de AI, que são mais inovadores e experimentais por natureza.

Six Sigma

• Nível de Convergência: Médio
• Racional: Six Sigma, com sua abordagem na melhoria de processos, se alinha indiretamente com Model Curation & Improvement através do foco em otimização e eficiência.

Lean IT

• Nível de Convergência: Baixo
• Racional: Lean IT, focado em eficiência operacional, tem uma convergência limitada com a melhoria contínua de modelos tecnológicos, sendo mais focado em processos operacionais.

Em resumo, a capability Model Curation & Improvement se alinha mais estreitamente com frameworks que enfocam a integração e o aprimoramento de novas tecnologias na arquitetura e nos processos de negócios, como TOGAF e CMMI.

Frameworks focados em operações de TI e gestão de serviços, como ITIL e Lean IT, apresentam menor alinhamento direto.

Esta capability desempenha um papel crítico na inovação contínua e adaptação tecnológica no ambiente de TI dinâmico.

Processos e Atividades

Develop Curation Plans

O desenvolvimento de planos para curadoria e melhoria dos modelos é um passo essencial na garantia da eficácia contínua das soluções de AI e ML, e deforma conceitual, também para outras tecnologias avançadas.

Este processo envolve a criação de um plano estruturado que detalha as atividades de monitoramento, avaliação e aprimoramento dos modelos.

O plano deve considerar as necessidades específicas da organização, os objetivos de negócios e os critérios de desempenho esperados.

Além disso, é crucial incluir uma análise de risco e um cronograma de execução para assegurar que todas as etapas sejam realizadas de forma eficiente e eficaz.

O processo também deve prever a capacitação das equipes envolvidas, assegurando que todos compreendam suas responsabilidades e as metas a serem alcançadas.

O desenvolvimento desses planos é fundamental para assegurar uma abordagem sistemática e proativa na curadoria e melhoria dos modelos, garantindo que eles continuem a agregar valor à organização.

• PDCA focus: Plan
• Periodicidade: Anual

#	Nome da Atividade	Descrição	Inputs	Outputs	RACI	DARE
1	Define Curation Objectives	Definir os objetivos de curadoria e melhoria dos modelos.	Necessidades de negócios, metas estratégicas	Objetivos de curadoria definidos	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
2	Assess Model Performance	Avaliar o desempenho atual dos modelos em uso.	Dados de desempenho, feedback dos usuários	Relatório de desempenho	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Solution Engineering & Development; Informed: Cybersecurity	Decider: Data, AI & New Technology; Advisor: Solution Engineering & Development; Recommender: Cybersecurity; Executer: Data, AI & New Technology
3	Develop Curation Strategies	Desenvolver estratégias para monitoramento, avaliação e melhoria contínua dos modelos.	Objetivos de curadoria, análise de desempenho	Estratégias de curadoria	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Infrastructure & Operation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Infrastructure & Operation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology
4	Create Implementation Timeline	Criar um cronograma detalhado para a execução do plano de curadoria.	Estratégias de curadoria, análise de riscos	Cronograma de implementação	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
5	Establish Training Programs	Desenvolver programas de treinamento para as equipes envolvidas na curadoria e melhoria dos modelos.	Necessidades de treinamento, recursos de treinamento	Programas de treinamento	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology

Identify Improvement Opportunities

A identificação de oportunidades para melhoria dos modelos existentes é um processo crucial para assegurar que as soluções de AI e ML continuem a atender às necessidades da organização e adaptem-se às mudanças no ambiente de negócios.

Este processo envolve a análise contínua do desempenho dos modelos, a coleta de feedback dos usuários e a realização de pesquisas sobre novas tecnologias e metodologias.

O objetivo é identificar áreas onde os modelos podem ser aprimorados, seja por meio de ajustes nos algoritmos, atualização de dados de treinamento ou incorporação de novas técnicas de aprendizado.

Este processo também deve considerar os riscos e as implicações de segurança associados a qualquer mudança proposta.

A identificação proativa de oportunidades de melhoria é fundamental para manter a relevância e a eficácia dos modelos em um ambiente dinâmico.

• PDCA focus: Plan
• Periodicidade: Trimestral

#	Nome da Atividade	Descrição	Inputs	Outputs	RACI	DARE
1	Collect Performance Data	Coletar dados de desempenho dos modelos em uso.	Modelos implementados, métricas de desempenho	Dados de desempenho	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
2	Analyze Feedback	Analisar o feedback dos usuários sobre o desempenho e eficácia dos modelos.	Feedback dos usuários, dados de desempenho	Relatório de feedback	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Solution Engineering & Development; Informed: Cybersecurity	Decider: Data, AI & New Technology; Advisor: Solution Engineering & Development; Recommender: Cybersecurity; Executer: Data, AI & New Technology
3	Research New Technologies	Pesquisar novas tecnologias e metodologias que possam ser aplicadas para melhorar os modelos.	Relatório de feedback, tendências de mercado	Relatório de pesquisa	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Infrastructure & Operation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Infrastructure & Operation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology
4	Identify Potential Improvements	Identificar possíveis melhorias nos modelos baseadas na análise de desempenho e pesquisa.	Relatório de pesquisa, análise de desempenho	Plano de melhorias	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Cybersecurity; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: Cybersecurity; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
5	Prioritize Improvement Opportunities	Priorizar as oportunidades de melhoria com base no impacto potencial e viabilidade.	Plano de melhorias, análise de viabilidade	Lista priorizada de melhorias	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology

Execute Model Improvements

A execução das melhorias nos modelos conforme planejado é uma etapa fundamental para garantir que as soluções de AI e ML continuem a fornecer valor e a se adaptar às mudanças nas condições de negócios e dados.

Este processo envolve a implementação das melhorias identificadas, que podem incluir ajustes nos algoritmos, atualização dos dados de treinamento, implementação de novas técnicas de aprendizado e otimização dos processos de inferência.

Cada melhoria deve ser testada rigorosamente para assegurar que ela realmente melhora o desempenho e a precisão dos modelos sem introduzir novos problemas.

Além disso, este processo deve garantir que as equipes estejam bem treinadas e preparadas para operar e manter os modelos melhorados.

A execução eficiente e eficaz dessas melhorias é crucial para manter a competitividade e a relevância dos modelos em um ambiente dinâmico.

• PDCA focus: Do
• Periodicidade: Contínua

#	Nome da Atividade	Descrição	Inputs	Outputs	RACI	DARE
1	Implement Algorithm Adjustments	Implementar ajustes nos algoritmos dos modelos conforme necessário.	Plano de melhorias, especificações técnicas	Algoritmos ajustados	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Solution Engineering & Development; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: Solution Engineering & Development; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
2	Update Training Data	Atualizar os dados de treinamento dos modelos para refletir as mudanças nas condições de negócios.	Dados de treinamento atualizados, plano de melhorias	Dados de treinamento atualizados	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Infrastructure & Operation; Informed: Cybersecurity	Decider: Data, AI & New Technology; Advisor: IT Infrastructure & Operation; Recommender: Cybersecurity; Executer: Data, AI & New Technology
3	Implement New Techniques	Implementar novas técnicas de aprendizado para melhorar a eficácia dos modelos.	Plano de melhorias, novas técnicas	Técnicas implementadas	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology
4	Test Improvements	Testar rigorosamente as melhorias implementadas para assegurar sua eficácia.	Melhorias implementadas, plano de testes	Resultados de testes	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Cybersecurity; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: Cybersecurity; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
5	Deploy Improved Models	Implantar os modelos melhorados em produção, assegurando que estejam totalmente operacionais.	Resultados de testes, plano de implementação	Modelos melhorados em produção	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology

Monitor Model Performance

O monitoramento contínuo do desempenho dos modelos é essencial para garantir que eles continuem a funcionar conforme o esperado e a fornecer valor contínuo à organização.

Este processo envolve a coleta e análise de dados de desempenho em tempo real, a identificação de quaisquer desvios ou problemas e a implementação de ações corretivas quando necessário.

O monitoramento deve ser abrangente, incluindo tanto métricas quantitativas quanto feedback qualitativo dos usuários.

Além disso, este processo deve incluir a revisão regular dos dados de entrada e saída dos modelos para garantir a integridade e a qualidade dos dados.

O objetivo é manter um ciclo contínuo de avaliação e melhoria que assegure que os modelos permaneçam precisos, eficazes e alinhados com os objetivos de negócios da organização.

• PDCA focus: Check
• Periodicidade: Contínua

#	Nome da Atividade	Descrição	Inputs	Outputs	RACI	DARE
1	Collect Real-Time Performance Data	Coletar dados de desempenho em tempo real dos modelos em uso.	Modelos implementados, métricas de desempenho	Dados de desempenho	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
2	Analyze Performance Data	Analisar os dados de desempenho para identificar tendências e problemas.	Dados de desempenho, feedback dos usuários	Relatório de análise	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Solution Engineering & Development; Informed: Cybersecurity	Decider: Data, AI & New Technology; Advisor: Solution Engineering & Development; Recommender: Cybersecurity; Executer: Data, AI & New Technology
3	Identify Deviations	Identificar quaisquer desvios ou problemas no desempenho dos modelos.	Relatório de análise, dados de desempenho	Relatório de desvios	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Infrastructure & Operation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Infrastructure & Operation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology
4	Implement Corrective Actions	Implementar ações corretivas para resolver os problemas identificados.	Relatório de desvios, plano de ações	Ações corretivas implementadas	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Cybersecurity; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: Cybersecurity; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
5	Review and Report Findings	Revisar e relatar as conclusões do monitoramento aos stakeholders relevantes.	Ações corretivas, relatório de desvios	Relatório de conclusões	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology

Update Improvement Plans

A revisão e atualização dos planos de melhoria com base nos resultados obtidos é um processo contínuo que visa garantir que as estratégias de curadoria e melhoria dos modelos permaneçam eficazes e alinhadas com os objetivos de negócios.

Este processo envolve a análise dos resultados do monitoramento de desempenho, a revisão das ações corretivas implementadas e a identificação de novas oportunidades de melhoria.

Os planos de melhoria devem ser ajustados para refletir as lições aprendidas e as mudanças nas condições de negócios.

Além disso, este processo deve incluir a comunicação das atualizações aos stakeholders e a capacitação contínua das equipes envolvidas.

A atualização regular dos planos de melhoria é essencial para manter a eficácia dos modelos de AI e ML e assegurar que a organização continue a extrair valor dessas tecnologias.

• PDCA focus: Act
• Periodicidade: Contínua

#	Nome da Atividade	Descrição	Inputs	Outputs	RACI	DARE
1	Review Monitoring Results	Revisar os resultados do monitoramento de desempenho dos modelos.	Dados de monitoramento, relatórios de desempenho	Resultados revisados	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
2	Assess Improvement Effectiveness	Avaliar a eficácia das melhorias implementadas.	Resultados revisados, feedback dos usuários	Relatório de eficácia	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Solution Engineering & Development; Informed: Cybersecurity	Decider: Data, AI & New Technology; Advisor: Solution Engineering & Development; Recommender: Cybersecurity; Executer: Data, AI & New Technology
3	Identify New Improvement Opportunities	Identificar novas oportunidades de melhoria com base na avaliação da eficácia.	Relatório de eficácia, análise de desempenho	Plano de novas melhorias	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Infrastructure & Operation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Infrastructure & Operation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology
4	Update Improvement Plans	Atualizar os planos de melhoria para refletir as novas oportunidades e lições aprendidas.	Plano de novas melhorias, relatório de eficácia	Planos de melhoria atualizados	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: Cybersecurity; Informed: Architecture & Technology Visioning	Decider: Data, AI & New Technology; Advisor: Cybersecurity; Recommender: Architecture & Technology Visioning; Executer: Data, AI & New Technology
5	Communicate Updates	Comunicar as atualizações dos planos de melhoria aos stakeholders relevantes.	Planos de melhoria atualizados, comunicação	Stakeholders informados	Responsible: Data, AI & New Technology; Accountable: Data, AI & New Technology; Consulted: IT Governance & Transformation; Informed: Solution Engineering & Development	Decider: Data, AI & New Technology; Advisor: IT Governance & Transformation; Recommender: Solution Engineering & Development; Executer: Data, AI & New Technology