A importância de Data & Analytics já é uma realidade e quem não ainda não deu a atenção necessária para isso já está atrasado!
Mas, na minha humilde opinião, muito se engana quem pensa que basta instalar alguma solução mágica de mercado e sair usando e "fazendo Data & Analytics".
Acho que não tem como escapar de primeiro fazer o "dever de casa", desenhando e implementando uma arquitetura de dados que faça sentido frente à estratégia de dados definida pela organização (e gerar essa estratégia com uma visão clara dos objetivos a serem alcançados já é um desafio por si só).
E para implementar uma arquitetura de dados unificada e moderna, devemos então pensar na melhor infraestrutura, ferramental e tecnologias.
Mas em conjunto, é preciso ainda considerar todo o arcabouço arquitetural e de ferramental para a coleta, normalização e enriquecimento de dados. Na vida real esse é outro enorme desafio quando se pensa no contexto da maior parte das empresas com múltiplos sistemas produtos, eventualmente em distintas plataformas, criadas em momentos distintos e sob diferentes "paradigmas".
Depois ainda temos as questões bem atuais como definir e implementar a distribuição de carga entre o mundo on premises e cloud. Isso é algo que também não é trivial quando se avalia o aspecto econômico do processamento - muitas plataformas cobram pelo tráfego de dados, então o que faz sentido ser tratado de forma distribuída ou centralizada?
E, só para não estender demais a lista de desafios, tem ainda a questão dos profissionais, cada vez mais valorizados e disputados pelo mercado. Essa é uma disciplina relativamente nova e formar pessoas com esses skills leva tempo, e tempo pode valer muito dinheiro quando se pensa no quanto de valor que já pode estar sendo capturado pela concorrência.
Nesse sentido, centralizar essa estrutura tende a ser positivo em muitos aspectos, quando o objetivo é evitar a duplicação de esforços, economizando na implantação e no ganho de escala dessa disciplina.
Em um artigo da Towards Data Science o autor fez uma ótima análise sobre o assunto, trazendo insights sobre como tratar esses desafios fundacionais dentro das corporações e quais os maiores desafios que os profissionais dessa área enfrentam hoje.
Eu, particularmente, já gostei muito, logo de largada, pela forma como ele dividiu as disciplinas de "Data Engineering" e "Data Science & Analytics", assuntos bem distintos que muitas vezes não são compreendidos corretamente pelas organizações.
Enfim, um assunto super atual, mas que muitas vezes, não é encarado com a profundidade necessária para que se torne uma disciplina efetiva a partir da qual as empresas possam capturar valor de forma perene e crescente.
Compartilho o conteúdo completo abaixo. Para quem é fã de frameworks e de uma visão bem estruturada, vale a pena a leitura e salvar o link: https://towardsdatascience.com/modern-unified-data-architecture-38182304afcc