Domine a análise de dados com as melhores práticas usando NumPy e Pandas
Domine a análise de dados com as melhores práticas usando NumPy e Pandas Para processar e analisar grandes quantidades de dados, é essencial ter ferramentas eficientes e poderosas. O NumPy e o Pandas são duas bibliotecas Python amplamente utilizadas no processamento de dados. O NumPy é uma biblioteca que fornece suporte para operações numéricas em […]
Consultando dados no Data Lake na AWS – 1 Athena
Consultando dados no Data Lake na AWS
O Athena é um importante serviço sem servidor da AWS – fundamental para os analistas de dados, engenheiros e cientistas que usam a AWS. É um serviço de consulta intuitivo e fácil de usar, sem necessidade de administração, e você paga apenas pelos dados digitalizados nas consultas que fizer. Aproveitar a compactação de dados ou usar formatos colunares pode reduzir os dados digitalizados e, assim, reduzir os custos.
Otimizando Data Lakes com Parquet – 2 exemplo com AWS
Data Lakes com Parquet Este artigo é o primeiro de uma série chamada ‘Foca no data lake’, na qual apresentaremos várias tecnologias para execução de consultas analíticas em data lakes na AWS . Indo direto ao assunto existem muitas tecnologias disponíveis que você pode usar para consultar big data na AWS, cada uma com seus prós e […]
Como extrair dados do site de apostas smashup via API
Como extrair dados dos sites de aposta. Antes de mais nada, como está a jogatina? Precisando achar algum padrões de dados para aumentar sua chances? Não de hoje que todos percebemos que quando tomamos decisões baseados em dados as nossas chances aumentam e muitos. Nesse exemplo irei mostrar como extrair os dados do site Smashup, […]
Como virar um Engenheiro de dados
Como virar um engenheiro de dados. Trabalhei nos últimos 10 anos com tecnologia, desde hardware até desenvolvimento. Tive diversos contato com grandes empresas para criação de estruturas de dados e consultoria. Atualmente trabalho como Engenheiro de dados em uma grande empresa nacional.
5 ideias de projetos de engenharia de dados
Projetos de engenharia de dados o “Portfólios são tudo, promessas não são nada. Coloque a mão na massa.” ~ Chase Jarvis “Engenharia de Dados” Você pode ter ouvido falar sobre isso. Hmmm…O que é essa nova área? Você pode saber sobre ciência de dados e aprendizado de máquina, mas o que é engenharia de dados? É uma tecnologia nova […]