João Varela

Data Science e o conceito de Demand Forecasting: como prever vendas

3 min

Vivemos cada vez mais num ambiente inteligente, onde cada decisão tem um maior impacto no mundo que nos rodeia. É, assim, importante que cada empresa tome decisões ponderadas e informadas que levem não só ao aumento do seu lucro, como ao bem-estar e satisfação do seu cliente.

Um contexto onde é fundamental tomar decisões informadas é na gestão e otimização de inventário. Quantos produtos deve uma empresa ter em stock? Quão frequente deve ser a sua reposição? São algumas das perguntas de extrema relevância nesta gestão, e que podem fazer toda a diferença no sucesso da empresa.

Em que consiste o Demand Forecast?

É aqui que surge o conceito de demand forecast que consiste na utilização de registos históricos de vendas de determinado produto de modo a estimar a sua procura no futuro. Ter uma estimativa de quantos produtos serão vendidos permite uma melhor gestão financeira, nomeadamente, no cálculo de margens de lucro, cash-flow, alocação de recursos, e na otimização de produção e armazenamento dos produtos.

Uma incorreta gestão de inventário pode dar origem a dois tipos de problemas:

👉 Um cliente pretende efetuar uma compra de um produto, mas não existe stock. Neste caso, não só é perdida uma oportunidade de venda o que leva a uma diminuição nos lucros, como é gerada insatisfação com o cliente.

👉 Foram produzidos produtos em quantidade demasiado elevada, e estes nunca chegam a ser comprados. Este problema é principalmente relevante quando o prazo de validade para venda dos produtos é reduzido, como em pastelarias ou quiosques. Nestes casos os custos de produção e armazenamento nunca serão restituídos, ou seja, existe inevitavelmente prejuízo.

Como podemos ajudar?

Uma vez que demand forecasting tira partido de dados históricos para fazer uma estimativa para o futuro, estamos perante um problema de Data Science. Podemos construir modelos matemáticos, através do uso de Machine Learning, que simulem o comportamento do mercado com o maior nível de detalhe possível, diminuindo a diferença entre o valor de compras estimado e o valor real de compras efetuadas.

O grande desafio desta estimativa é o elevado número de fatores externos que afetam diretamente o número de compras, e nem sempre são fáceis de ter em conta. A sazonalidade, meteorologia, eventos próximos do local, análise da competitividade ou promoções são alguns destes fatores, sendo assim fundamental o enriquecimento dos dados históricos de vendas com esta informação, de modo a encontrar padrões de venda mais significantes.

Uma grande vantagem da utilização de modelos de Machine Learning para previsão de procura no mercado é a sua explicabilidade. Destes modelos é possível extrair quais os fatores que estão a contribuir positivamente ou negativamente para o número de vendas, podendo o processo de decisão ter isto em conta de forma a minimizar estes fatores negativos sempre que possível.

A tecnologia: Azure Machine Learning

A plataforma Azure Machine Learning agiliza todo o processo de Data Science, desde a análise de viabilidade com recurso aos Notebooks interativos, à criação e produtização de modelos, sendo facilitado o seu registo e entrega contínua de novos modelos. A plataforma possibilita ainda acionar os recursos de monitorização com recurso ao Azure Application Insights, registando automaticamente informações relativas ao modelo em produção, isto é, quais os valores recebidos e devolvidos pelo modelo (possibilitando a identificação de desvios de dados ou drifts que indicam a necessidade de retreino do modelo), bem como, tempos de resposta, número de pedidos e identificação de eventuais erros durante a previsão de stock.

Assista ao vídeo e descubra como prever vendas!

Pensamentos finais

Neste artigo referimos que a gestão de inventário é um fator muito importante para otimização dos lucros da empresa, sendo o demand forecast uma técnica que permite fazer uma estimativa do futuro número de compras, um dado fundamental para uma gestão mais correta e ponderada. Discutimos, ainda, que modelos de Machine Learning podem ser uma solução viável para cálculo destas estimativas, sendo de extrema importância o enriquecimento dos registos de vendas com fatores externos que adicionem valor e permitam criar modelos mais assertivos.

Na Xpand IT estamos preparados para resolver este, ou qualquer outro tipo de problema de Data Science. Entre em contacto connosco.


João VarelaData Science e o conceito de Demand Forecasting: como prever vendas
read more

Data Science e manutenção preventiva: a prevenção é a chave!

4 min

Problemas mecânicos podem parar linhas de produção durante horas, originando uma diminuição da produção e consequentemente, uma diminuição do lucro de toda a fábrica.

Com o surgimento da indústria 4.0 e das tecnologias de Internet of Things (IoT), nasceram novas soluções e desafios. Cada vez mais as máquinas estão ligadas à cloud, permitindo a recolha de dados sensoriais referentes ao estado das mesmas ao longo do tempo. E é esta recolha de dados dos sensores das máquinas que permite a utilização de algoritmos de Machine Learning. Estes algoritmos conseguem identificar qual o estado de degradação da máquina, de modo a otimizar o seu processo de manutenção.

Surge, assim, o conceito de manutenção preventiva que consiste numa manutenção mais inteligente e que tem como principal objetivo a otimização dos períodos de manutenção das máquinas. Mas como é que as máquinas recolhem esses dados? Nós explicamos.

Como funciona a aquisição de dados

A primeira fase deste tipo de projeto é a recolha de dados, ou criação de um dataset. Idealmente serão recolhidos das máquinas os valores de cada um dos sensores ao longo tempo, formando um conjunto de dados do tipo timeseries, ou seja, uma amostragem discreta de dados que formam uma sequência de valores cada um com o correspondente timestamp associado. Este conjunto de dados será posteriormente utilizado para treino do modelo, por isso é importante que estes dados representem o melhor possível o funcionamento do sistema. Alguns fatores que devem ser tidos em conta durante este processo de aquisição de dados são a frequência de amostragem que deve estar de acordo com as grandezas de frequência de funcionamento do sistema e a redução de fatores externos que possam introduzir ruído ao sinal recolhido.

As abordagens de modelação na manutenção preventiva

Em qualquer projeto de Data Science é importante definir qual a pergunta que queremos que o nosso modelo responda. Assim vamos não só definir qual será a abordagem de modelação mais apropriada como também definir objetivos concretos de assertividade dessa mesma abordagem. Assim sendo, podemos identificar três perguntas tipo que vêm solucionar problemas de manutenção preventiva:

A máquina vai avariar no próximo intervalo de tempo?

Esta pergunta leva-nos um problema de classificação, cujas possíveis repostas são finitas e bem definidas. Neste caso, dado um determinado conjunto de dados mais recente do comportamento da máquina queremos identificar se irá ou não existir algum problema durante uma janela temporal: nas próximas 24 horas, 7 dias ou no próximo mês, por exemplo. Para casos mais complexos, pode ainda ser possível identificar qual o tipo de avaria ou qual a peça que poderá estar a contribuir para um maior desgaste da máquina.

Quanto tempo está previsto até existir uma avaria?

A resposta a este tipo de pergunta não é tão linear, uma vez que consiste num número que pode variar continuamente, ou seja, estamos perante um problema de regressão. Esta abordagem permite identificar de uma forma mais detalhada qual será a janela temporal prevista para que exista uma falha no sistema, esta métrica é também conhecida por Remaining Useful Time (RUL), sendo assim possível realizar a manutenção da máquina antes que esta se encontre no seu ponto crítico.

A máquina está a funcionar de acordo com o esperado?

Esta abordagem é particularmente útil em situações que não temos acesso a registos históricos de avarias da máquina. Sendo que neste caso, o nosso modelo irá estar a prever qual o comportamento espectável da máquina com base nos seus últimos instantes de funcionamento, se existir uma grande diferença entre os valores previstos e os valores recolhidos da máquina, estamos perante um caso onde esta não estará a funcionar como o esperado, ou seja, existe possibilidade de ocorrência de algum problema, e consequente necessidade de manutenção.

Já conhece o Azure Machine Learning?

Azure Machine Learning é um serviço da Azure que foi desenvolvido com o objetivo de facilitar e agilizar todo o lifecycle de um modelo de ML, desde a análise dos dados, até ao treino do modelo e posterior produtização do mesmo. Algumas ferramentas que vêm ajudar na aceleração deste lifecycle são:

  • Notebooks colaborativos: Permitem a criação de ambientes de desenvolvimento idênticos para toda a equipa, bem como da colaboração de vários membros no mesmo ficheiro. Ajudando no processo de partilha de conhecimento numa fase mais inicial de processamento dos dados e de análise e visualizações dos mesmos
  • AutoML: Esta ferramenta dá-nos a possibilidade de construir modelos de uma forma automática e bastante mais rápida, o que permite chegar ao mercado mais cedo. O autoML tenta otimizar a fase iterativa de modelação através da escolha automática das melhores features, dos modelos que melhor se ajustam ao tipo de dados específico e quais os melhores parâmetros para esses modelos.
  • Drag and DropPara desenvolvimento de protótipos rápidos, ou para quem não se sente tão à vontade com a escrita do código, a Azure disponibiliza uma plataforma de blocos que permite a criação rápida de pipelines para transformação de dados, treino de modelos, e produtização dos mesmos.

Este serviço da Azure, contém ainda uma funcionalidade muito útil para registo de modelos, tornando mais fácil o seu versionamento e entrega contínua de novos modelos. Esta funcionalidade consegue ainda disponibilizar uma REST API que serve de interface de comunicação com o modelo criado, o que torna fácil a sua integração em qualquer ambiente.

Assista ao vídeo e descubra tudo!

Pensamentos finais

Em suma, a manutenção preventiva tem como objetivo a otimização dos custos associados ao funcionamento de máquinas ou de outro tipo de sistemas que tenham necessidade de manutenção, sendo que existem vários tipos distintos de abordagens válidas. A escolha da abordagem correta depende do problema em estudo, bem como dos pedidos e requisitos de cada cliente.

Na Xpand IT estamos preparados para resolver este, ou qualquer outro tipo de problema de Data Science. Entre em contacto connosco.


João VarelaData Science e manutenção preventiva: a prevenção é a chave!
read more

Data Science é o futuro (qual a nossa definição?)

5 min

Data Science é o futuro, e o futuro chegou.

Estamos em 2021 e o futuro chegou. Ainda não vemos carros voadores, nem o Elon Musk enviou pessoas para Marte, mas já temos robots a limpar as nossas casas, temos supercomputadores no nosso bolso e, de acordo com o “The Economist”, o recurso mais importante do planeta terra já não é o petróleo, mas sim, os dados.

As empresas Data-Driven usam grandes fluxos de dados para aumentar a eficácia dos seus processos de decisão, prever tendências de mercado e melhorar a experiência do consumidor com a personalização dos seus produtos. O aumento do uso de smartphones e o crescimento da IoTInternet of Things – tem enormes quantidades de dados todos os dias, e estudos recentes apontam que em 2025 teremos cerca de 200 Zettabytes de dados em todo o Mundo. Data Science é capaz de extrair conhecimento e informação desses dados oferecendo insights importantes sobre as preferências dos consumidores através de análises estatísticas.

Data Science atua em vários campos. Usa técnicas e teorias matemáticas bem como processos e algoritmos da programação para extrair informação importante de vários tipos de dados (tabular, texto, séries temporais, imagens, entre outros). Data Science aborda também áreas como a estatística, machine learning, programação, analytics e visualização de dados. Os Data Scientists devem ser especializados em todas estas áreas e devem desenvolver modelos estatísticos que detetem padrões e tendências em grandes volumes de dados. Devem ser considerados uns storytellers que apresentam data-insights aos decisores de forma simples e compreensível.

Como funciona Data Science? Quais são os problemas que podem resolver?

Os historiadores dizem que é importante estudar o passado para não repetir os mesmos erros no futuro. Na maioria dos casos, Data Science tenta aplicar esta ideologia: faz uso do historial de dados para prever e analisar o futuro usando resultados probabilísticos e estatísticos. Algoritmos complexos tiram vantagem de grandes quantidades de dados para encontrar padrões e tendências, que podem ser aplicados para prever, por exemplo, comportamentos de mercado.

Podemos encontrar aplicações para Data Science em praticamente todas as indústrias, desde a gestão de stock em mercearias à análise de dados em desportos de alta competição. Embora existam muitas aplicações para Data Science, a maioria dos use cases podem ser inseridos num dos tipos de problemas mais comuns:

Classificação, é usada quando é necessário prever a categoria ou classe de um determinado conjunto de dados. Com o aumento da partilha das Fake News através das redes sociais, a classificação de algoritmos entra em cena para detetar e sinalizar estes tipos de posts o mais rápido possível. Podem ser usados para detetar automaticamente mensagens de spam ou analisar o comportamento do consumidor através das suas reviews de produtos fazendo a deteção do sentimento associado à opinião como “boa, má, insatisfeito, satisfeito, etc.”. A automatização destes processos aumenta a rapidez de captura de informação, reduzindo o time to market.

via GIPHY

Deteção de anomalias, como o nome sugere o objetivo é identificar valores fora do comum. Um dos grandes desafios da indústria financeira é a luta contra a fraude fiscal. Transações fraudulentas, esquemas de phishing e transações anormais, são algumas das irregularidades que podem ser detetadas. Estamos perante a quarta revolução industrial com o crescimento da indústria digital. Uma das vertentes de atuação de Data Science na indústria 4.0 é a deteção de anomalias em máquinas de produção, levando a uma diminuição no impacto financeiro que essas situações acarretam.

via GIPHY

Previsão indica-nos quando ou como podem ocorrer certos eventos. Data Science tem vindo a ser aplicada nos cuidados de saúde e tem ajudado profissionais a salvar vidas durante os tempos pandémicos que vivemos, seja em prever os picos de contágio ou prevendo a duração de hospitalização de um doente internado. Algumas equipas profissionais de futebol usam Data Science para ganhar jogos, preveem a performance dos seus jogadores e os seus valores de mercado. Por exemplo, os Data Scientists do Liverpool Football Club, analisam centenas de jogos para prever quais as zonas do campo que trazem maior vantagem em cada situação do jogo, aumentando assim as probabilidades de vitória da equipa. Outra área onde a previsão pode ter um impacto significativo, é na evolução da relação cliente-empresa. Pode ver um bom exemplo da previsão do customer churn rate no nosso blogpost recente, onde pormenorizamos este tema de forma mais detalhada.

via GIPHY

Sistemas de recomendação. “É capaz de gostar” é uma frase comum nas lojas online ou nas plataformas de streaming e são construídas com base nesta vertente de recomendação. Por exemplo, a Netflix, extrai vários conjuntos de dados para compreender e analisar o que os seus consumidores estão a ver, quanto tempo veem determinado conteúdo, a que momento do dia, os estilos de filmes/séries de preferência, os atores mais vistos, entre outros. Com este tipo de informação é possível recomendar filmes ou séries que são do interesse de cada consumidor, fazendo assim com que o seu produto seja altamente personalizado. Estes sistemas de recomendação estão a ser usados também em redes sociais, para a oferta de páginas recomendadas consoante os nossos gostos, comentários e conteúdo observado.

via GIPHY

– A tecnologia está a desenvolver-se rapidamente, a cada dia que passa é possível fazer processamento de dados mais caros computacionalmente, aumentando a capacidade de desenvolver modelos e algoritmos mais complexos. O reconhecimento é uma tecnologia futurística que já está presente no nosso quotidiano, com técnicas de extração de informação de imagens ou sons. Conseguimos desbloquear os nossos smartphones através do reconhecimento facial ou transcrever uma conversa automaticamente. Vamos ser honestos, dizer à Alexa para ligar as luzes da nossa casa sempre foi motivo de nos sentirmos estilosos e na vanguarda da tecnologia.

via GIPHY

A nossa framework de Data Science

Na Xpand IT definimos o nosso próprio processo de Data Science que visa mitigar a incerteza, natural em projetos deste tipo, através de abordagens baseadas em metodologias Agile (Scrum e o nosso próprio framework de desenvolvimento, o XPAGILE). Deste modo podemos abordar cada projeto da forma ágil sem perdermos o foco no que realmente importa: entregar projetos de qualidade dentro do prazo.

Como Data Scientists, desenvolvemos esta metodologia para não perdemos nenhuma etapa que consideramos fundamental para ir de encontro à visão do cliente. Algumas vantagens que a introdução desta framework traz são:

  • Redução do risco: uma vez que é um processo faseado com entregas e discussões de resultados regulares;
  • Maximização do valor obtido: identificamos o problema desde o início, garantindo a relevância do objetivo, sendo possível o seu ajuste em cada iteração;
  • Solução viável: garantimos que a solução final seja viável. A produtização do projeto garante que este não foi apenas uma experiência, mas a solução para o problema;
  • Especificidade do projeto: tentamos assegurar a qualidade de cada projeto individualmente, não caindo na armadilha do “uma solução serve para todos”.

Em resumo

Data Science pode abranger diferentes áreas de negócio, e não é fácil definir quais são as principais vantagens para todos os casos, já que cada caso é único e traz a necessidade de ser avaliado individualmente para identificar as suas melhores oportunidades. O objetivo principal deste artigo é mostrar-lhe as possíveis aplicações de Data Science e desmistificar o seu uso real.

A nossa unidade de Data Science está pronta para o ajudar em qualquer caso. O nosso objetivo é acrescentar valor ao longo de todo o ciclo de vida do projeto e, ao mesmo tempo, analisar e compreender todo o seu negócio, ajudá-lo a desenvolver novas soluções e implementar a tecnologia necessária para o sucesso do mesmo.


João VarelaData Science é o futuro (qual a nossa definição?)
read more