Assessment de Data Science: como analisar a viabilidade de um projeto

Assim, será necessário avaliar (i) o nível de maturidade da recolha e do processamento de dados, (ii) as necessidades de volume e escala dos dados e (iii) as tecnologias utilizadas pela organização:

• Maturidade da recolha e processamento de dados – Consiste em compreender se a organização possui capacidades bem desenvolvidas ao nível da recolha e armazenamento de dados para gerar o conhecimento pretendido. De um modo geral, podem ser identificados três níveis nesta área: (i) entry-level, que se caracteriza pela necessidade de melhorias na recolha e no processamento de dados para que as ferramentas de Data Science possam ser desenvolvidas; (ii) intermediate level, no qual o cliente já dispõe de mecanismos de recolha, armazenamento e processamento de dados que permitem avanço em termos de Data Science; e (iii) advanced level, no qual a organização já incorpora algum processo de Data Science nas suas áreas de negócios.
• Necessidades de volume e escala – Aqui, será necessário averiguar onde os dados são armazenados e a escalabilidade.
• Tecnologias utilizadas na organização – É fundamental compreender o contexto tecnológico de cada organização para que, em colaboração com os nossos clientes, possamos encontrar a melhor solução para cada situação, capitalizando vantagens e minimizando as desvantagens das tecnologias envolvidas.

Para além da componente tecnológica, a componente de gestão é também um fator essencial para o sucesso. É tipicamente a ponte de ligação entre o estado atual (AS IS) e a visão futura (TO BE). A compreensão do contexto do negócio tem grande importância em diferentes fases deste processo. Numa fase inicial, compreender os desafios e os fatores que afetam direta ou indiretamente os resultados, dependendo do tipo de projeto, pode incidir sobre considerações legais, workflows de procedimentos, especificidades do setor, linguagem técnica, etc.

Numa fase de análise de dados, o contexto do negócio pode facilitar a identificação de relações entre variáveis ou a avaliação da existência de padrões. O alinhamento das áreas tecnológica e de gestão é fundamental, não só pelas razões acima mencionadas, mas também para agilizar a compreensão das fases seguintes.

Para compreendermos melhor a próxima fase da nossa jornada, devemos considerar alguns atributos chave como, por exemplo:

• Qualidade e quantidade de dados – Os dados disponíveis desempenham um papel fundamental para definir não só o conjunto de problemas que podem ser abordados, mas também o processo e o esforço necessários para os desenvolvimentos adaptados a cada cliente. Além disso, existe a possibilidade de saber se é viável recolher, armazenar e processar dados adicionais para além do que é feito atualmente.
• Como é que o modelo será “alimentado”? – É crucial compreender a origem dos dados necessários para o processo de treino, bem como os triggers e as queries feitas ao modelo. Por exemplo, determinar se as queries têm origem no front-end, no back-end ou em ambos.
• Contexto de utilização do modelo – A utilização prevista para o modelo tem um peso significativo na definição do projeto. Fatores como a frequência de pedidos, real-time queries vs. batch queries e a aceitação de um tempo de espera de cinco minutos pelos resultados, tornam-se considerações cruciais.
• Natureza do problema – Os desafios solicitados podem exigir o desenvolvimento de um modelo, a preparação de um processo de monitorização e a manutenção ou extração de informação relevante, como data mining, com relações entre variáveis ou padrões nos dados.

Cada uma destas especificidades, nomeadamente a estrutura e o respetivo conteúdo dos dados, confere um carácter único a cada desafio. Consequentemente, a incerteza surge como um fator constante em cada projeto, especialmente na fase inicial, em que as caraterísticas dos dados e a realidade organizacional ainda estão a ser compreendidas.

A Xpand IT está preparada para ajudar a solucionar qualquer desafio complexo. Desenvolvemos um método para combater os desafios dos projetos de Data Science, sustentado por metodologias ágeis.

1. Fazemos uma análise da viabilidade do projeto a partir de perspectivas comerciais e técnicas, e definimos meticulosamente os critérios de sucesso.
2. Construímos e comparamos diversos modelos, identificando aquele que cumpre com os critérios estabelecidos.
3. Utilizamos os conhecimentos para planear e executar a implementação e a monitorização da nossa solução num ambiente de produção, reconhecendo a necessidade de um acompanhamento constante.

O nosso compromisso de melhorar continuamente, levou a Xpand IT a receber o “Prémio Anual de Parceiro Microsoft” pelo segundo ano consecutivo, em 2022. Esta conquista solidifica o nosso estatuto como especialistas em ferramentas Microsoft.