Como virar um engenheiro de dados – Um dia na vida de um engenheiro de dados.
Indice
Vou começar com uma introdução.
Trabalhei nos últimos 10 anos com tecnologia, desde hardware até desenvolvimento. Tive diversos contato com grandes empresas para criação de estruturas de dados e consultoria. Atualmente trabalho como Engenheiro de dados em uma empresa nacional.
Agora, vamos ver o que é Engenharia de Dados e quem é Engenheiro de Dados.
A engenharia de dados é a tarefa complexa de tornar os dados brutos utilizáveis para cientistas de dados e grupos dentro de uma organização. A engenharia de dados abrange várias especialidades da ciência de dados.
Além de tornar os dados acessíveis, os engenheiros de dados criam análises de dados brutos para fornecer modelos preditivos e mostrar tendências de curto e longo prazo. Sem engenharia de dados, seria impossível entender a enorme quantidade de dados que estão disponíveis para as empresas.
Um Engenheiro de Dados constrói os sistemas e pipelines para coletar, gerenciar e converter os dados brutos em dados utilizáveis para a concepção do negócio; tornando os dados acessíveis e interpretáveis.
Habilidades para se tornar um Engenheiro de Dados
- Habilidades de programação
SQL é a habilidade mais importante a ser aprendida quando se trata de lidar com dados. Todos os dias usamos SQL para explorar dados e manipular as tabelas.
Afirmei a AWS como apenas um exemplo, mas é bom em qualquer plataforma de nuvem, por exemplo, GCP ou código aberto.
O Apache Airflow ajuda a automatizar os pipelines.
Nota: Python e SQL são indispensáveis para entrevistas e para o trabalho diário. O resto é bom ter; por que digo isso é porque se você está procurando um emprego agora, não precisa gastar todo o seu tempo aprendendo novos conceitos.
2. Habilidades Interpessoais
Todas essas habilidades sociais são importantes, mas aprimorar suas habilidades de comunicação verbal e escrita é de extrema importância. Na maioria das vezes, você terá que traduzir detalhes técnicos para linguagem de negócios e vice-versa para facilitar a interpretação pelos stakeholders.
Como engenheiro de dados, você trabalhará com uma enorme quantidade de dados. Se você não conseguir traduzir isso em motivação de negócios, será difícil produzir uma análise bem pensada. Daí a necessidade de Perspicácia nos Negócios .
As necessidades de negócios mudam constantemente, por isso é importante ser adaptável .
Você trabalhará com equipes diferentes, então a colaboração .
Entrevista de emprego para vaga de engenheiro de dados
Normalmente, o processo de entrevista tem 3-4 rodadas.
Após uma ligação do recrutador, haverá uma rodada técnica para levar para casa ou online que envolve testar suas habilidades em SQL e Python. Geralmente é baseado no tempo, então quanto mais você puder resolver, melhor.
Para Python, estruturas de dados e algoritmos serão testados; não tanto quanto um engenheiro de software. As perguntas serão baseadas mais em dicionários, listas, uso de mapa e função lambda.
Para SQL, as perguntas normalmente seriam baseadas em junções, funções de janela e funções agregadas.
Em seguida, haveria mais duas ou três rodadas para testar sua modelagem de dados, pipelines de ETL e habilidades de impacto nos negócios.
Agora, vamos falar sobre o que eu mencionei no título.
Como virar um engenheiro de dados…
Então, como é um dia na vida de um engenheiro de dados?
Os dias geralmente consistem em reuniões com as partes interessadas para analisar os requisitos. Em seguida, reunimos os dados, após os quais exploramos e avaliamos os dados.
- Definir o Modelo de Dados – Nesta etapa, construiremos os diagramas Entidade-Relacionamento (ER). Projeto conceitual dos objetos de dados, a associação entre os objetos de dados e as regras. Basicamente, um design conceitual de como as tabelas serão estruturadas, para que possamos ter certeza de que o design de dados segue os requisitos de negócios dos stakeholders e todas as restrições de integridade.
- Executar ETL – É aqui que você codificará em SQL para as tabelas e Python para criar os pipelines. ETL é Extrair os dados, Transformar os dados no formato necessário e Carregar os dados quando necessário.
- Crie pipelines e envie as consultas para o painel e apresente-as para a concepção do negócio.
Há também o ELT, que está fora do escopo deste artigo, mas o abordarei em artigos futuros.
Retiradas finais
SQL e Python são habilidades importantes.
Comunicação e compreensão da motivação do negócio são habilidades muito importantes para se ter.
Projetos, Projetos e Projetos para reforçar seus conceitos aprendidos
Antes de fechar eu queria declarar –
Sempre carregue a atitude “ eu posso fazer isso ” — Muito importante.
Referências
- Khan Academy — https://www.khanacademy.org/
- Udemy — https://www.udemy.com/course/learning-python-for-data-analysis-and-visualization
- Codecademy — https://www.codecademy.com/ — Introdução à análise de dados
- Dados para projetos de código aberto — https://medium.com/towards-artificial-intelligence/the-50-best-public-datasets-for-machine-learning-d80e9f030279
- Boas leituras: https://towardsdatascience.com/how-to-build-a-data-science-portfolio-5f566517c79c
- Guia de entrevista de ciência de dados: https://towardsdatascience.com/data-science-interview-guide-4ee9f5dc778
- Conjunto de dados de crédito da Alemanha: https://www.kaggle.com/uciml/german-credit
- Perguntas da entrevista de dados: https://www.interviewqs.com/
Veja mais: Trabalhando com Python no Power BI
Fonte em Inglês: Medium