Estamos vivenciando um período de turbulência em muitos âmbitos, como no setor econômico, social e geopolítico. Conflitos e crises surgem e as empresas devem estar preparadas para enfrentá-las com menos baixa possível. Com certeza o impacto é sentido em nossas vidas profissionais e pessoais.
Frente a essas novas situações, profissionais de dados e Analytics devem se adaptar rapidamente, para que seja possível agir de forma estratégica e dinâmica. Vimos isso durante a pandemia. Organizações fizeram investimentos em novas tecnologias e mudaram seus processos para permanecerem competitivos². Pesquisas indicam que gestores confiam em tecnologias, como integração de dados e Analytics, para gestão de crises³.
Por isso, agora, mais do que nunca, é hora de acreditar nas tecnologias e utilizá-las da melhor maneira, para apoiar, calibrar suas decisões e integrar pessoas.
1) Interrupção da cadeia de suprimentos com dados em tempo real
Diante de um mercado cada vez mais competitivo, a maneira como a cadeia de suprimentos é gerenciada define o sucesso operacional de uma empresa. A gestão estratégica do balanceamento de estoque, produtividade, insumos e saída de produtos é o que mantém uma empresa funcionando com sucesso.
A pandemia e conflito na Ucrânia foram exemplos de como determinadas situações que ocorrem no mundo podem impactar diretamente nas cadeias de suprimentos, o que leva a uma escassez significativa de componentes.
Frente a situações como essas, ter acesso a dados em tempo real faz com que as organizações tenham previsões, elaborando um plano de contingência mediante a situações e crises que podem impactar o negócio.
Se a sua empresa ainda não investe em dados em tempo real para prever e antecipar cenários, em 2023 é a hora.
2) Velocidade da decisão - em escala
Segundo o Gartner, 95% das decisões baseadas em dados serão ao menos parcialmente automatizadas ⁴. Uma vez que você tem acesso a dados em tempo real, as decisões devem ser tomadas com a mesma velocidade, e, por isso, deve-se automatizar os processos.
Inteligência artificial, Analytics e automação geram insights e tomam mais decisões e mais rápidas do que pessoas, mas não se engane, ainda é fundamental que haja pessoas no início e final dos ciclos de automação da decisão para projeto e revisão.
A velocidade da decisão deixa um rastro de Big Data, com padrões analisáveis. Isso cria uma abertura para mineração de decisões. Por isso, investir na alfabetização de dados é primordial para que tecnologia e pessoas estejam alinhadas e trabalhem harmonicamente.
3) Otimização de low-code e high-code
Vimos surgir nos últimos anos ferramentas low-code para criação de aplicativos. Elas permitem que pessoas não técnicas criem seus próprios apps e aumentem o consumo de dados e insights. O AutoML disponibiliza aos analistas de negócios acesso aos algoritmos mais avançados. Um exemplo é a GitHub Copilot (baseada no GPT-3), que converte frases em inglês para código.
Quando se trata de engenharia e ciência de dados, surgiram ferramentas high-code, com modelos para programadores que desejam flexibilidade e comandos que possam programar.
Portanto, sempre existirão ferramentas nos dois campos, mesmo quando em alguns casos de uso evoluam de high-code para low-code.
4) Corrida armamentista entre homens e máquinas
As máquinas estão evoluindo. Até mesmo o Elon Musk acredita que devemos pisar no freio quando o assunto é inteligência artificial: " É um risco para a existência da nossa civilização. Até as pessoas verem robôs matando gente na rua, não se entenderão os perigos da inteligência artificial", disse Elon para governadores em uma reunião que ocorreu em Rhode Island em 2017⁵ .
Atualmente, vimos amplamente divulgado o GPT-3, que tem tanta capacidade que fornece diversos serviços, desde otimização de código a redação de textos de marketing. Porém, existem 5 ou 6 desenvolvimentos globais ainda maiores que o GPT-3, com modelos treinados com conjuntos de dados ainda maiores. Com isso, podemos imaginar onde isso irá nos levar.
As máquinas finalmente passarão no teste de Turing (avalia a inteligência de uma máquina em relação à inteligência do ser humano)?
5) Data Storytelling que geram ações
Você já ouviu falar de storytelling baseado em dados?
Os dados, as vezes, não conseguem fazer as pessoas agirem. Com isso, utiliza-se como estratégia o data storytelling, onde transformam as informações disponíveis em histórias, fazendo mais sentido ao usuário, já que histórias despertam sentimentos nas pessoas.
Só que o storytelling de dados ainda precisa evoluir, pois vai muito além de gráficos e infográficos em um PowerPoint. Ele deve estar atrelado a ações.
Forneça as informações certas, para o usuário certo, na hora certa. Quantas vezes não vimos o setor da tecnologia batendo nessa tecla? Isso é muito importante, mas em um mundo cada vez mais dinâmico o tempo é escasso e completar essa tarefa se torna difícil.
Com isso, felizmente, você não precisa enviar todos os dados, a todas as pessoas, a todo tempo. É mais útil ter os conjuntos certos, de poucos dados, na hora certa. Os insights, por exemplo, podem ser mais prescritivos e orientados por recomendação, entregues diretamente dos dados.
Deste modo, o data storytelling está em constante evolução e vai se tornar uma das formas mais presentes de se consumir Analytics ⁶.
6) A consolidação do mercado abre novas oportunidades
Integração de dados, gerenciamento, Analytics/IA, visualização, ciência de dados e automação. Todos estes sistemas que antes eram isolados, agora são combinados. Isso abriu oportunidades antes impossíveis. A colaboração entre produtores e consumidores de dados faz com que se crie pipelines de dados ágeis em função de suas metas de negócios, com decisões mais assertivas.
Com isso, escolha plataformas que operem com múltiplas pilhas e consolide dados entre elas. Frente a tempo desafiadores, onde CFOs e CEOs envolvem-se mais nos negócios, facilitar o acesso geral a ferramentas e plataformas, de forma controlada, é uma excelente estratégia para ir de encontro com os objetivos de negócio.
7) O que era antigo agora é novo - na nuvem
Com a pandemia, muitas organizações modernizaram os aplicativos e moveram dados para a nuvem. Porém o que aconteceu no mundo on-premise acontecerá novamente na nuvem. Após adotar um warehouse ou datalake na nuvem, por exemplo, você precisará lidar com a movimentação de dados, sua conversão, catálogos de metadados, etc.
Com essas necessidades, investimentos em alguns segmentos de software em warehouse e lakes estão surgindo (camadas semânticas e integração de dados, movimentação, fontes e observabilidade).
Isso fez com que startups alimentadas por capital de risco buscassem por uma especialização. Porém, algumas perderão essa batalha e desaparecerão quando os setores amadurecerem e se consolidarem. Essa tendência acelerará quando o financiamento de risco desabar.
Resumindo, surgirão ondas de fusões e aquisições, enquanto fornecedores menores buscam uma saída. Exatamente como já ocorreu no mundo on-premise.
8) O "X fabric" une a governança conectada
Discussões recentes sobre o Data Fabric, metodologia que conecta conjuntos de dados distribuídos por modelos semânticos, ocorreram nos últimos anos. Porém, diante de milhares de programadores, precisa-se de outros fabrics ou "X Fabrics", que inclui: application fabrics, BI fabrics e algorithm fabric. Só que essas metodologias ainda não estão tão maduras como o data fabric.
Para governança conectada, você precisa de X fabrics, além de certificar artefatos com base em sua confiabilidade, como, por exemplo, marcas d'água baseadas em limites. Cada organização busca melhores práticas de acessar dados e artefatos de Analytics. Por isso, em um mundo fragmentado, orquestração torna-se ainda mais importante.
9) Aprofundamento da IA no pipeline
Automação e IA estão convergindo, possibilitando a geração de novos insights que antes não era possível. Mover componentes mais profundamente no pipeline de dados, antes de criar um aplicativo ou dashboard, pode beneficiar as organizações de muitas maneiras. A Inteligência Artificial automatizará parte das tarefas de preparação de dados, para que os engenheiros e cientistas de dados possam concentrar-se em tarefas mais significativas.
Usar IA no gerenciamento de dados vai alterar a histórica distribuição 80/20 ( entre preparar os dados e analisá-los), possibilitando a automatização da maioria das tarefas de rotina na engenharia de dados.
10) O crescimento dos dados derivados e sintéticos
Dados são mutáveis, tem diferentes características e podem ser utilizados em diferentes situações. Eles podem ser alterados de acordo com as necessidades de seus usuários e empresas.
Dados "derivados" são dados que foram convertidos, processados, agregados, correlacionados ou operados, são apresentados pelo sistema. São úteis atualmente para gerenciamento de dados de teste - criando, gerenciando e fornecendo dados de teste para equipes de aplicativos. Porém, com as novas leis de privacidade e integridade, por exemplo, é necessário estudar novas formas de ocultar os dados ainda mais, por exemplo.
Uma outra situação é a falta de dados de usuários. Isso afeta as pequenas empresas, pois não podem treinar seus modelos de inteligência artificial com amplos conjuntos de dados, por exemplo. Com isso, os dados sintéticos (que não foram gerados em operações reais), podem ser uma excelente alternativa.
Diante de diversos fatores e situações, como dados ausentes e leis de privacidade, veremos cada vez mais dados derivados e sintéticos sendo utilizados.
Mas, o que essas tendências significam para a sua empresa?
Analise e veja como as tendências se aplicam à sua organização. Para ser possível antecipar, mudar de rumo e navegar pela crise, é necessário avaliar ponto a ponto e ver como se aplicam nas suas necessidades de negócio. Você estará mais preparado para lidar com o que vier pela frente.
Referências:
¹ E-book Qlik – Preparação para a Crise. 10 tendências principais de BI e Dados para 2023. https://www.qlik.com/pt-br/bi/data-trends
² Future Enterprise Resiliency and Spending Survey, IDC, April 2022.
³ “The Foundation of Data and Analytics is Cloud!,” Gartner BI Summit, Pesquisa com CIOs de 2021 do Gartner e entrevistas com cliente e ex-concorrentes na Qlik e QlikWorld, análise da BCG.
⁴ Striving to Become a Data-Driven Organization? Start with 5 Key D&A Initiatives,” Gartner, https://www.gartner.com/en/information-technology/insights/data-and-analytics-essential-guides .
⁵ https://brasil.elpais.com/brasil/2017/07/17/tecnologia/1500289809_008679.html
⁶ Gartner: Data Storytelling: Analytics Beyond Data Visualizations and Slideshows, July 19, 2021.