Fundamentos para projetar e construir arquiteturas de dados

Dois especialistas no desenvolvimento de arquiteturas de dados, compartilham neste documento o que consideram as melhores práticas em design e implementação de projetos em cenários complexos.

Foto: Rawpixel.

Ted Malaska e Jonathan Seidman, formam uma equipe de especialistas em design e implementação de arquiteturas de dados que neste documento compartilham os principais tipos de projetos, seguidos por uma descrição dos principais elementos a serem considerados, em geral, para implementar soluções de arquiteturas(.) de dados.

Para facilitar esse processo, os especialistas dividem os projetos de dados em três categorias que eles consideram as mais comuns:

Data Pipelines e Data Staging

Estes são projetos que envolvem trazer dados de suas fontes de origem para novos sistemas para processamento adicional. Esses projetos fornecerão a base para todos os outros tipos de projetos em sua organização, por isso é extremamente importante prestar muita atenção ao planejar esses projetos.

Processamento e Análise de Dados

Uma vez que os dados estejam disponíveis, esses são os projetos que buscam obter informações acionáveis, analisando as informações. Esses projetos podem ser explorações ad hoc, realizadas por analistas ou projetos completos que geram relatórios e painéis de controle para usuários corporativos.

Aplicações

Estes são aplicativos orientados ao usuário que fornecem serviços e valor para os usuários, sejam eles internos ou externos. Esses projetos geralmente serão baseados em implementações e implementações bem-sucedidas dos dois tipos de projetos anteriores.

Para cada um desses tipos de projetos, este documento discute as considerações que devem orientar o planejamento e o desenvolvimento de cada iniciativa de implementação:

• Considerações principais que você deve incluir em seu planejamento para cada tipo de projeto.
• Riscos prováveis ​​do projeto para os quais você deve planejar e informações para mitigar esses riscos.
• As funções que você deve considerar ao formar equipes para entregar cada tipo de projeto.