Bem-vindo ao projeto de Pipeline de Dados de Boston! Este projeto utiliza uma série de ferramentas da AWS para processar e analisar dados de solicitações de serviço da cidade de Boston. O objetivo é criar um pipeline de dados eficiente que extrai, transforma e carrega (ETL) os dados em um formato pronto para análise, ajudando a entender melhor as tendências e padrões das solicitações de serviço na cidade.
Este projeto foi desenvolvido para analisar o conjunto de dados de solicitações de serviço 311 de Boston, disponível aqui. Os dados incluem informações sobre vários tipos de serviços solicitados pelos cidadãos, como problemas com iluminação pública, coleta de lixo e muito mais. O pipeline de dados permite que esses dados sejam coletados, transformados e analisados de forma eficiente, proporcionando insights valiosos para melhorar os serviços públicos.
A arquitetura do projeto é composta pelos seguintes componentes:
Arquitetura-AWS.mp4
- S3 Camada Bronze: Armazena os dados brutos extraídos da API de dados de Boston.
- S3 Camada Silver: Armazena os dados transformados e limpos.
- S3 Camada Gold: Armazena os dados finais prontos para análise.
- Glue Crawler: Descobre automaticamente o esquema dos dados e cria o catálogo de dados.
- Glue Catalog: Armazena metadados sobre as tabelas de dados.
- Glue ETL Jobs: Realiza a transformação dos dados brutos e os move para a S3 Camada Silver.
- Glue Data Quality: Verifica a qualidade dos dados após a transformação.
- Glue Data Brew: Ferramenta para preparar e limpar os dados de forma interativa.
- Amazon QuickSight: Ferramenta de visualização de dados para criar dashboards e relatórios.
- AWS Lake Formation: Utilizado para gerenciar e proteger o acesso aos dados.
- Security Group: Configuração de segurança para controlar o acesso aos recursos.
- O que é?: Um serviço de armazenamento de objetos da AWS.
- Como usamos?: Armazenamos tanto os dados brutos (Camada Bronze) quanto os dados processados (Camadas Silver e Gold) aqui, servindo como um ponto central de armazenamento.
- O que é?: Um serviço de ETL (Extração, Transformação e Carregamento) da AWS.
- Como usamos?: Utilizamos o Glue para catalogar os dados (Glue Catalog), descobrir esquemas (Glue Crawler), e realizar transformações de dados (Glue ETL Jobs).
- O que é?: Um armazém de dados em nuvem que facilita a análise de grandes volumes de dados.
- Como usamos?: Embora não seja mostrado na arquitetura, o Redshift pode ser usado para consultas rápidas e análises profundas dos dados transformados.
- O que é?: Um serviço de gerenciamento de identidade e acesso.
- Como usamos?: Configuramos permissões para garantir que apenas usuários autorizados possam acessar os recursos do projeto.
- O que é?: Um serviço de monitoramento que coleta dados e insights de aplicações e recursos da AWS.
- Como usamos?: Monitoramos o desempenho do pipeline e configuramos alertas para identificar rapidamente quaisquer problemas.
- O que é?: Um serviço de visualização de dados.
- Como usamos?: Criamos dashboards e relatórios para visualizar insights dos dados.
- O que é?: Um serviço para gerenciar e proteger dados armazenados no Data Lake.
- Como usamos?: Gerenciamos permissões e acesso aos dados armazenados no S3.
Aqui estão algumas capturas de tela do processo de análise de dados utilizando o AWS DataBrew:
Figura 1: Interface do AWS DataBrew mostrando a limpeza e preparação dos dados, incluindo a divisão de colunas, renomeação de colunas, e remoção de caracteres especiais.
Figura 2: Tela de configuração de um job no AWS Glue, demonstrando a aplicação de transformações de esquema e extração de padrões com expressões regulares (Regex Extractor).
Figura 3: Visualização no AWS Glue Data Catalog, mostrando as tabelas categorizadas em diferentes camadas de armazenamento (Bronze, Silver, Gold).
data/raw/: Onde armazenamos os dados brutos.processed/: Onde armazenamos os dados transformados prontos para análise.
scripts/etl.py: Script principal que executa o pipeline de ETL.config.py: Contém as configurações e credenciais necessárias para acessar os serviços da AWS.
docs/architecture.png: Diagrama que representa a arquitetura do projeto.
README.md: Este documento de documentação do projeto.
- Uma conta AWS com permissões para S3, Glue, QuickSight e Lake Formation.
- Python 3.8 ou superior instalado.
Patricia Miranda
LinkedIn