O que faz a pessoa analista de dados?

Publicado em 16/02/2020 e atualizado em 19/11/2021.

Eu sou aquele tipo de pessoa que prefere ser generalista a especialista, o que significa que eu conheço um pouco de muitas coisas em favor de muito sobre poucas coisas. Isso é exatamente o que acredito ser uma pessoa analista de dados: uma generalista, capaz de navegar por qualquer fonte de dados dentro e fora das organizações para fazer descobertas e transmitir conhecimento. O que isso significa na prática e qual a importância da análise de dados no ambiente corporativo?

O conceito é o mesmo, só mudam as roupagens

Análise nada mais é do que um exame, ou estudo, que serve para explicar fenômenos na natureza. Me arrisco a dizer que fazemos análises desde que nos damos por organismos vivos, e fomos apenas ficando mais eficientes ao fazê-las, com ferramentas e técnicas desenhadas para estudo de diferentes tipos de fenômenos. De transformações químicas a dinâmicas sociais, somos capazes de examinar e compreender — ou inferir — a razão pela qual determinado fenômeno ocorreu.

Análise de dados é uma especialização de análise em que a pessoa observadora examina algo chamado de dado. O dado é a menor unidade que compõe o conhecimento. Por si só, não tem utilidade. Analistas de dados transformam o dado em conhecimento por meio de processos de aprendizado. Neste contexto, o dado é insumo para a geração de conhecimento. O resultado do trabalho da pessoa analista de dados pauta a forma como organizações fazem uso de seus recursos, pensando no potencial de retorno ao longo de determinado período de tempo. Na iniciativa pública, analistas de dados fiscalizam e comunicam o uso de recursos públicos em parceria com a imprensa.

Análise de dados em tempos de big data

O que não falta na internet são definições de big data e qual sua importância no mundo corporativo. Grandes volumes de dados são criados e armazenados a todo momento, graças a massificação de tecnologias para coleta, processamento e armazenamento de dados. Um ambiente propício para estudo de dados deu margem ao crescimento da demanda por analistas de dados. Em outras formas de análise, as pessoas profissionais criam o protocolo de captura, processamento, armazenamento e extração de informações para depois ir a campo fazer a coleta. Um analista de dados encontra, dentro de uma organização, diversas fontes com dados já coletados, mas em diversas formas, tamanhos e locais de armazenamento, que normalmente são impróprios para uso da maneira como são encontrados. O protocolo deve considerar, antes da coleta de novos dados, o tratamento dos dados já existentes. Esta pessoa analista precisa ser capaz de lidar com inconsistências e dados faltantes que muitas vezes não podem ser reconstituídos com uma nova coleta. No universo de ciência de dados, a infraestrutura para que o cientista de dados possa trabalhar precisa ser tão bem pensada em termos de hardware, software e processos que existe uma pessoa profissional dedicada a fazer isso: a engenheira de dados. Dependendo da organização, uma figura similar pode existir para auxiliar a pessoa analista de dados, mesmo que o escopo de trabalho seja mais aberto, como o da própria equipe de desenvolvimento de software. Em organizações menores cabe a pessoa analista de dados planejar a infraestrutura pela qual os dados irão ser manuseados. Esta infraestrutura é a arquitetura do fluxo da informação.

Arquitetura do fluxo da informação

Se me perguntar qual a diferença entre uma pessoa analista de dados e uma pessoa cientista de dados, eu diria que a analista de dados faz tudo o que a cientista de dados faz menos treinar algoritmos. A maior parte do trabalho de uma pessoa cientista de dados consiste em fazer um preparo prévio dos dados que serão utilizados para o treino de algoritmos. Este preparo pode ser na coleta e / ou na transformação dos dados para que possam ser compreendidos pelos algoritmos que vão processá-los. O que muda entre o trabalho de uma pessoa analista de dados e o de uma pessoa cientista de dados é o seu objetivo final. A pessoa analista de dados prepara e estuda dados para identificar padrões com base no passado enquanto a pessoa cientista de dados prepara e estuda dados para identificar tendências. Para cada objetivo, uma mesma base de dados pode ter tratamentos completamente diferentes, mas em ambas houve um processo de tratamento e armazenamento de dados para posterior uso.

Esta é a principal diferença entre as duas profissões, mas não é a única. Em alguns lugares existe a figura da pessoa engenheira de dados, que configura a infraestrutura de hardware, software e processos que serão usados pela pessoa cientista de dados em seu processo de estudo, enquanto é incomum que exista tal figura que exerça função similar para suportar o trabalho de uma pessoa analista de dados. É natural que empresas menores não disponham do mesmo volume de dados que grandes empresas. Empresas menores, com volumes menores de dados, conseguem trabalhar com uma infraestrutura mais enxuta e mantida por analistas de dados. Esta infraestrutura para pequenas e médias empresas, que consiste na configuração ideal de hardware, software e processos para análise de dados ou ciência de dados, é o que estou chamando de arquitetura do fluxo da informação. Independente da configuração, esta infraestrutura vai contar ao menos:

• Uma ou mais fontes de dados para entrada;
• Um ou mais transformadores de dados;
• Um ou mais repositórios para armazenamento;
• Uma ou mais saídas para consumo de dados.

Soa como um processo ETL ou um ELT? Pois é a partir do desenho da arquitetura do fluxo da informação que a forma de trabalho ideal será definida. Esta infraestrutura básica será configurada de acordo com o tipo de uso que será feito dela, o que irá variar entre analistas de dados e cientistas de dados, visto que estruturas como data warehouses comportam casos de uso diferentes daqueles de um data lake.

Geração de conhecimento e o ponto de partida

Independente do escopo de trabalho da pessoa analista de dados ser mais focado em análise propriamente dita ou englobar a análise e a construção da infraestrutura, o trabalho não é considerado entregue se não resulta em conhecimento para a organização, que seja capaz de responder a dúvidas de negócios e orientar decisões estratégicas para a geração e expansão de negócios. Neste momento o perfil generalista da pessoa analista de dados vem a calhar, pois conhecer os processos de negócios é fundamental para estabelecer um ponto de partida para a análise. O ponto de partida é fundamental, pois todo achado deve ter um contexto para ter valor. Penso que uma pessoa analista de dados não é diferente do Homem Formiga, herói dos quadrinhos da Marvel. Ele pode encolher até ficar diante de um universo de informações, mas se ficar encolhendo sem parar ele pode não voltar para seu tamanho normal e compartilhar as descobertas com a equipe. O ponto de partida serve como o conjunto de configurações e coordenadas que vai definir o trabalho do analista de dados — e até onde o Homem Formiga deve encolher.

O cinto de utilidades

Coletar e organizar conjuntos de dados para extrair e transmitir conhecimento são duas habilidades importantes de uma pessoa analista de dados. Acontece que o ambiente de trabalho raramente é o ideal e precisa ser tratado antes que os dados possam ser utilizados. Em um ambiente digital onde as tecnologias para coleta de dados possuem suas limitações, e privacidade é uma questão a ser discutida, o trabalho se torna ainda mais desafiador. Para lidar com problemas como estes, o arsenal da pessoa analista de dados conta com ferramentas que também são usadas por pessoas matemáticas, desenvolvedoras de software e designers de experiência. Conhecer o campo da estatística e suas vertentes descritiva e inferencial é importante para explicar massas de dados com diferentes níveis de qualidade e ruído, garantindo a confiabilidade necessária para suportar decisões de negócios. Já as ferramentas de desenvolvimento de software são úteis para criar um fluxo de coleta, transformação e armazenamento de dados escalável e automático. Por fim, as ferramentas utilizadas por designers de experiência ajudam a guiar o desenvolvimento do trabalho de análise de forma que seu resultado esteja em sintonia com as necessidades das áreas de negócio que precisam do conhecimento.

No fim, se trata de ser generalista em conhecimento de negócios e também generalista no domínio de ferramentas para ser especialista na geração e na disseminação de conhecimento para a empresa.

Bora analisar dados!