Data lake e engenharia de dados: Todos os dados da empresa num lugar só, tratados e prontos para responder.
Coleta, tratamento e guarda de grandes volumes de dados, em lote ou em tempo real, com a base pronta para painéis, relatórios e IA.
01 · Onde costuma entrar
Onde costuma entrar.
Para empresas com muito dado espalhado em muitos sistemas: redes com filiais, operações com sensores ou rastreadores, empresas que já têm painéis e esbarram no volume, e quem quer usar IA com os próprios dados.
varejo
O histórico de vendas de todas as lojas, de anos, num lugar só, para comparar filiais e prever reposição.
logística
Posições dos rastreadores e eventos de entrega chegando em tempo real, prontos para calcular atraso e rota.
agro
Dados de estações, sensores de campo e máquinas reunidos por talhão e por safra.
indústria
Leituras de sensores e apontamentos de produção guardados com histórico, para achar a causa da perda.
educação
O desempenho dos alunos ao longo dos anos, vindo de sistemas diferentes, reunido para a coordenação acompanhar.
02 · Como funciona
Como funciona.
01 · Entra
Os dados chegam de muitas fontes, em lote ou em tempo real.
02 · Acontece
São guardados como chegaram, tratados e conferidos, com o registro de onde veio cada um.
03 · Sai
A base pronta para painéis, relatórios, sistemas e IA.
03 · O que é entregue
O que é entregue.
- O desenho da base: de onde vem cada dado, onde fica e quem usa.
- Os caminhos de coleta e tratamento (ETL e ELT), em lote ou em tempo real.
- A base em camadas: o dado bruto como chegou, o dado tratado e o dado pronto para uso.
- Qualidade e origem: regras de validação e o registro de onde veio cada dado.
- O gasto de nuvem acompanhado desde o primeiro dia, em conta da empresa.
- Acesso pronto para painéis, relatórios, sistemas e IA.
04 · Antes de começar
O limite, dito antes.
Nem toda empresa precisa de data lake. Com pouco volume, um banco bem organizado e um painel resolvem, e isso é dito antes. O data lake vale quando o volume, a variedade de fontes ou a velocidade dos dados passam do que um banco comum aguenta.
05 · Como começa
Começa pelo inventário das fontes de dados e pela pergunta que hoje não tem resposta porque os dados não se encontram.
O primeiro módulo leva duas ou três fontes até um uso real.
01 · Próximo passo
Entender
Ver de perto como a operação funciona hoje, com quem faz o trabalho.
02
Propor
Uma proposta escrita para aquela demanda: escopo, prazo, preço e suporte, num contrato próprio.
03
Construir
Um módulo por vez, começando pelo que mais pesa. Cada entrega entra em uso.
04
Acompanhar
Ajustes, dúvidas da equipe e módulos novos, como combinado em contrato.
06 · Sem caixa-preta
Sem caixa-preta.
Outra pessoa consegue continuar. O trabalho é feito assim desde a primeira semana.
- Documentação em português, feita durante a construção.
- O histórico de cada mudança, desde a primeira semana.
- Hospedagem e domínio em contas no nome da empresa.
- Os dados da empresa exportáveis, a qualquer hora.
Escopo, prazo, preço e suporte são definidos no contrato de cada projeto. De quem é o código também se combina ali, antes de assinar.
07 · Quem constrói
Quem conversa com você é quem constrói.
2018
No mercado desde
Pedro Strapasson é uma empresa de desenvolvimento e integração de sistemas: tecnologia sob medida para o jeito que cada empresa trabalha. Cada projeto começa por um levantamento da operação e segue em entregas curtas, com documentação, versionamento e uma passagem organizada para quem for cuidar do sistema. Por trás está uma trajetória no mercado desde 2018, com anos em big data e sistemas críticos de grande porte para órgãos públicos: alto volume de dados, processamento em tempo real e pouca margem para erro.
Da trajetória
O primeiro contrato próprio foi um sistema para um fabricante de estações meteorológicas: os dados coletados pelas estações chegavam ao site do fabricante, cada cliente com as suas estações, e viravam gráficos.
08 · Perguntas
O que costuma ser perguntado.
Sobre data lake
Qual a diferença entre data lake e BI?
O BI é a tela com os números. O data lake é a base por trás: onde os dados de todas as fontes chegam, são tratados e ficam guardados com histórico. Com pouco dado, o painel lê direto dos sistemas. Com muito, precisa da base.
Vai ficar caro na nuvem?
O custo é estimado na proposta e acompanhado desde o primeiro dia, com alerta de gasto. A arquitetura é escolhida pelo volume real da empresa, não pelo maior possível.
Dá conta de volume grande?
Sim. A trajetória inclui anos em big data e sistemas críticos de grande porte para órgãos públicos, com alto volume de dados e processamento em tempo real.
Sobre o trabalho
Quanto custa?
Não existe tabela. Cada demanda recebe uma proposta própria, com escopo, prazo, preço e suporte por escrito, depois de entender o processo. O número vem com base, não no escuro.
Quem vai fazer o meu projeto?
Pedro Strapasson, do começo ao fim. Quem conversa com você é quem constrói.
09 · Combina com
Costuma andar junto.
Um projeto costuma juntar mais de uma solução, sempre com proposta própria.
10 · Contato
Conte como funciona hoje.
Não precisa saber o nome técnico de nada. Quem responde é o próprio Pedro.
Atendimento remoto ou presencial, conforme o projeto