As 5 Principais diferenças entre ETL vs ELT

Por
Compartilhe!

As 5 Principais diferenças entre ETL vs ELT

Nas últimas décadas, o ETL (extrair, transformar, carregar) tem sido a abordagem tradicional para armazenamento e análise de dados. A abordagem ELT (extrair, carregar, transformar) muda o antigo paradigma. Mas, o que realmente acontece quando o “T” e o “L” são trocados?

ETL e ELT resolvem a mesma necessidade:

Bilhões de dados e eventos precisam ser coletados, processados ​​e analisados ​​pelas empresas. Os dados precisam estar limpos, gerenciáveis ​​e prontos para análise. Precisa ser enriquecido, moldado e transformado. Para torná-lo significativo.

Mas, o “ como ” é o que é diferente e leva a novas possibilidades em muitos projetos de dados modernos. Existem diferenças em como os dados brutos são gerenciados, quando o processamento é feito e como a análise é realizada.

Neste artigo, demonstraremos as diferenças tecnológicas de ETL e ELT, mostrando exemplos de engenharia e análise de dados das duas abordagens e resumindo 10 prós e contras de ETL e ELT .

As diferenças tecnológicas: vamos primeiro alinhar os 3 estágios – E, T, L:

  • Extração : recuperar dados brutos de um pool de dados não estruturado e migrá-los para um repositório de dados temporário
  • Transformação : Estruturar, enriquecer e converter os dados brutos para corresponder à fonte de destino
  • Carregando : Carregando os dados estruturados em um data warehouse para serem analisados ​​e usados ​​por ferramentas de business intelligence (BI)

ETL vs. ELT: O que é ETL?

O ETL requer gerenciamento dos dados brutos, incluindo a extração das informações necessárias e a execução das transformações corretas para atender às necessidades de negócios. Cada estágio – extração, transformação e carregamento – requer interação de engenheiros e desenvolvedores de dados e lidar com as limitações de capacidade de data warehouses tradicionais. Usando ETL, analistas e outros usuários de BI se acostumaram a esperar , já que o simples acesso às informações não está disponível até que todo o processo de ETL seja concluído.Um gráfico que descreve como funciona o ETL: Extrair, Transformar, Carregar

O que é ELT?

Na abordagem ELT, depois de extrair seus dados, você inicia imediatamente a fase de carregamento – movendo todas as fontes de dados em um único repositório de dados centralizado. Com as tecnologias de infraestrutura atuais que usam a nuvem, os sistemas agora podem oferecer suporte a grande armazenamento e computação escalonável. Portanto, um grande conjunto de dados em expansão e processamento rápido é virtualmente infinito para manter todos os dados brutos extraídos.Um gráfico que descreve como funciona o ELT: Extrair, Carregar, TransformarDessa forma, a abordagem ELT oferece uma alternativa moderna ao ETL . No entanto, ainda está evoluindo. Portanto, as estruturas e ferramentas de suporte ao processo ELT nem sempre são totalmente desenvolvidas para facilitar o carregamento e o processamento de grande quantidade de dados. O lado positivo é muito promissor –permitindo acesso ilimitado a todos os seus dados a qualquer momento e economizando esforços e tempo dos desenvolvedores para analistas e usuários de BI .

Um exemplo prático

Aqui está um exemplo para ilustrar as diferenças tecnológicas entre ETL e ELT e detalhar os detalhes.

Nossa demonstração usará duas tabelas de dados : uma para compras e outra para moedas, conforme abaixo:

TABELA DE COMPRAS

ipmontantemoeda
2.248.0.0100EURO
2.248.0.0200GBP
72.229.28.185300USD

TABELA DE MOEDAS

moedataxa
EURO1,12
GBP1,3
USD1

Para entender os fundamentos, veremos como este exemplo é processado em ETL e ELT . Para cada um, mostraremos como calcular uma única tabela de resumo usando essas duas tabelas – incluindo a compra média por país (com base no endereço IP fornecido).

Transformação de dados ETL em dados extraídos

No processo ETL, o estágio de transformação se aplica a uma série de regras ou funções nos dados extraídos para criar a tabela que será carregada.

Aqui está um código para demonstrar o processo preliminar de transformação de dados para ETL:

etl-vs-elt_table_1.png





Usando este script, estamos mapeando os endereços IP para seus respectivos países. Estamos derivando um novo valor calculado ‘montante’ multiplicando os valores de ambos os grupos de tabelas de origem por atributo de moeda. Em seguida, estamos classificando os dados pela coluna do país, juntando os dados das tabelas de compras e moedas e somando os valores médios por país.





Essa transformação de dados resulta em uma nova tabela com o valor médio por país:





AMOUNT MÉDIO POR PAÍS





paísmontante
EUA300
SUÉCIA372





Transformação de dados ELT em tempo de execução de consulta





Em contraste com ETL, com ELT todos os dados já estão carregados e podem ser usados ​​a qualquer momento.





Portanto, a transformação é feita no tempo de execução da consulta:





etl-vs-elt_table_2.png










Na consulta, selecionamos o endereço IP por país, multiplicando o valor da tabela de compras e a taxa da tabela de moedas para calcular o valor médio. Em seguida, juntando as duas tabelas com base nas colunas comuns de ambas as tabelas e agrupando por país.





Isso resultará na mesma tabela de saída exata do processo ETL acima. No entanto, neste caso, como todos os dados brutos foram carregados, podemos mais facilmente continuar executando outras consultas no mesmo ambiente para testar e identificar as melhores transformações de dados possíveis que correspondem aos requisitos de negócios.





A linha de fundo deste exemplo prático –





ELT é mais eficiente do que ETL para código de desenvolvimento . Além disso, o ELT é muito mais flexível do que o ETL. Com o ELT, os usuários podem executar novas transformações, testar e aprimorar consultas diretamente nos dados brutos conforme necessário – sem o tempo e a complexidade com os quais nos acostumamos com o ETL.





Gerenciando Data Warehouses e Data Lakes





De acordo com o Gartner , as necessidades de gerenciamento e integração de dados das empresas hoje exigem dados pequenos e grandes, não estruturados e estruturados . Aqui está o que eles sugerem sobre o que precisa ser mudado na maneira de trabalhar:





“A equipe de BI tradicional precisa continuar desenvolvendo melhores práticas claras, com objetivos de negócios bem compreendidos … há um segundo modo de BI que é mais fluido e … altamente iterativo com descoberta de dados imprevistos e que podem falhar rapidamente.”
“The traditional BI team needs to continue developing clear best practices, with well understood business objectives… there is a second mode of BI which is more fluid and … highly iterative with unforeseen data discovery and is allowed to fail fast.”





Essa frase gerou muita conversa sobre data warehouses versus data lakes. O conceito de data lake é uma nova maneira de pensar sobre big data para dados não estruturados feitos para escala infinita – usando ferramentas como o Hadoop para implementar o segundo modo de trabalho de BI descrito pelo Gartner. No entanto, embora as empresas ainda usem data warehouses para oferecer suporte a um paradigma tradicional, como ETL, data warehouses modernos e escalonáveis, como Redshift e BigQuery, podem ser usados ​​para implementar o paradigma moderno de ELT com todos os seus benefícios inerentes mencionados acima.





A IBM fala sobre 5 coisas que os projetos modernos de big data exigem – mostrando a necessidade de novos conceitos de dados, como o data lake. 





São os 5 V’s:





  1. Volume: o volume de dados (brutos)
  2. Variedade: a variedade (por exemplo, estruturada, não estruturada, semiestruturada) de dados
  3. Velocidade: a velocidade de processamento de dados, consumação ou análise de dados
  4. Veracidade: o nível de confiança nos dados
  5. (Valor): o valor por trás dos dados





ETL continua a ser uma boa combinação ao lidar com data warehouses legados – olhando para subconjuntos menores e movendo-os para o data warehouse. Mas é difícil fornecer uma solução com ETL para os 5 V conforme você avança na lista – como lidar com os volumes? Os dados não estruturados? Rapidez? etc.





A abordagem ELT abre oportunidades para trabalhar em um ambiente de BI mais fluido e iterativo devido à sua eficiência e flexibilidade. A ELT permite a implementação de muitos conceitos de data warehouse  e se estende a conceitos de data lake – permitindo a incorporação de dados não estruturados em sua solução de BI.





Considerações finais sobre ETL e ELT





ETL está desatualizado. Isso ajudou a lidar com a limitação das infraestruturas tradicionais rígidas e de data center que, com a nuvem, isso não é uma barreira hoje. Em organizações com grandes conjuntos de dados de apenas alguns terabytes, o tempo de carregamento pode levar horas, dependendo da complexidade das regras de transformação.





ELT é uma parte importante do futuro do armazenamento de dados. Com o ELT, empresas de qualquer tamanho podem capitalizar nas tecnologias atuais. Ao analisar grandes pools de dados com mais agilidade e menos manutenção, as empresas obtêm insights importantes para criar vantagens competitivas reais e se destacar em seus negócios.





via: panoply


Compartilhe!
		


				
			




			

				


	
119 comentários em “As 5 Principais diferenças entre ETL vs ELT”

		
    
			
		
  1. 
			
    
				

				
    
					
    Hi there everybody, here every person is sharing such know-how, therefore it’s fastidious to
    
read this webpage, and I used to pay a quick visit this
    
blog daily.
    
				
    
			
    
			
    2. 

		
  2. 
			
			
    3. 

		
  3. 
			
			
    4. 

		
  4. 
			
    
				

				
    
					
    An outstanding share! I’ve just forwarded this onto a colleague who was conducting a little research on this. And he actually ordered me lunch simply because I stumbled upon it for him… lol. So let me reword this…. Thanks for the meal!! But yeah, thanks for spending the time to discuss this matter here on your website.
    
				
    
			
    
			
    5. 

		
  5. 
			
    
				

				
    
					
    After I originally left a comment I seem to have clicked on the -Notify me when new comments are added- checkbox and from now on each time a comment is added I receive four emails with the exact same comment. Perhaps there is a way you are able to remove me from that service? Cheers!
    
				
    
			
    
			
    6. 

		
  6. 
			
    
				

				
    
					
    Hello there! This post could not be written any better! Looking at this article reminds me of my previous roommate! He continually kept preaching about this. I most certainly will send this information to him. Pretty sure he’ll have a good read. Many thanks for sharing!
    
				
    
			
    
			
    7. 

		
  7. 
			
			
    8. 

		
  8. 
			
			
    9. 

		
  9. 
			
			
    10. 

		
  10. 
			
    
				

				
    
					
    Hey I know this is off topic but I was wondering if you knew of any widgets I could add
    
to my blog that automatically tweet my newest twitter updates.
    
I’ve been looking for a plug-in like this for quite some time and was hoping maybe you would have some experience with something
    
like this. Please let me know if you run into anything.
    
I truly enjoy reading your blog and I look forward
    
to your new updates.
    
				
    
			
    
			
    11. 

		
  11. 
			
			
    12. 

		
  12. 
			
    
				

				
    
					
    hello!,I love your writing very a lot! share we communicate more approximately your article
    
on AOL? I require an expert in this space to solve my problem.
    
Maybe that is you! Having a look forward to peer you.
    
				
    
			
    
			
    13. 

		
  13. 
			
    
				

				
    
					
    Howdy! This is kind of off topic but I need some help
    
from an established blog. Is it tough to set up your own blog?
    
I’m not very techincal but I can figure things out pretty fast.
    
I’m thinking about creating my own but I’m not sure where to begin. Do you have any
    
ideas or suggestions?  Many thanks
    
				
    
			
    
			
    14. 

		
  14. 
			
			
    15. 

		
  15. 
			
    
				

				
    
					
    Hello I am so happy I found your web site, I really found you by error, while I was researching on Google
    
for something else, Nonetheless I am here now and would just like to say many thanks for a
    
tremendous post and a all round enjoyable
    
blog (I also love the theme/design), I don’t have time to go through it all at the minute but I have book-marked it and also included
    
your RSS feeds, so when I have time I will be back to read a lot more,
    
Please do keep up the fantastic jo.
    
				
    
			
    
			
    16. 

		
  16. 
			
			
    17. 

		
  17. 
			
    
				

				
    
					
    Hello, constantly i used to check blog posts here early in the morning, for the reason that i love to learn more and more.
    
				
    
			
    
			
    18. 

		
  18. 
			
    
				

				
    
					
    whoah this blog is fantastic i really like reading your articles.
    
Stay up the good work! You already know, a
    
lot of individuals are hunting round for this info, you can help them greatly.
    
				
    
			
    
			
    19. 

		
  19. 
			
			
    20. 

		
  20. 
			
    
				

				
    
					
    This is a good tip especially to those fresh to the blogosphere. Brief but very precise info… Appreciate your sharing this one. A must read post!
    
				
    
			
    
			
    21. 

		
  21. 
			
    
				

				
    
					
    Do you have a spam issue on this website; I also am a blogger, and
    
I was curious about your situation; many of us have developed some nice practices and we are looking to exchange solutions with
    
other folks, why not shoot me an email if interested.
    
				
    
			
    
			
    22. 

		
  22. 
			
    
				

				
    
					
    Write more, thats all I have to say. Literally, it seems as though
    
you relied on the video to make your point.
    
You clearly know what youre talking about, why throw away your intelligence on just posting videos
    
to your weblog when you could be giving us something enlightening to read?
    
				
    
			
    
			
    23. 

		
  23. 
			
			
    24. 

		
  24. 
			
    
				

				
    
					
    Just want to say your article is as amazing. The clarity in your publish is
    
just spectacular and that i can think you’re an expert on this subject.
    
Fine along with your permission allow me to seize your RSS feed to keep up to date with imminent
    
post. Thank you a million and please keep up the gratifying work.
    
				
    
			
    
			
    25. 

		
  25. 
			
    
				

				
    
					
    Aw, this was an exceptionally good post. Taking the time and actual effort to create a superb article… but what can I say… I hesitate a lot and don’t manage to get anything done.
    
				
    
			
    
			
    26. 

		
  26. 
			
			
    27. 

		
  27. 
			
			
    28. 

		
  28. 
			
    
				

				
    
					
    Everything is very open with a clear explanation of the issues. It was definitely informative. Your site is extremely helpful. Many thanks for sharing!
    
				
    
			
    
			
    29. 

		
  29. 
			
    
				

				
    
					
    Have you ever considered publishing an e-book or guest authoring on other websites?
    
I have a blog based on the same subjects you discuss and would really like to have you share some stories/information. I
    
know my readers would appreciate your work.
    

    If you are even remotely interested, feel
    
free to shoot me an e mail.
    
				
    
			
    
			
    30. 

		
  30. 
			
			
    31. 

		
  31. 
			
    
				

				
    
					
    I like the helpful info you provide in your articles. I
    
will bookmark your blog and check again here regularly.
    

    I’m quite certain I will learn plenty of new stuff right
    
here! Good luck for the next!
    
				
    
			
    
			
    32. 

		
  32. 
			
    
				

				
    
					
    Good post. I learn something totally new and challenging on sites I stumbleupon every day. It will always be exciting to read articles from other writers and practice something from other websites.
    
				
    
			
    
			
    33. 

		
  33. 
			
    
				

				
    
					
    This is really fascinating, You are a very professional blogger.
    
I have joined your feed and look ahead to
    
in search of more of your excellent post. Additionally, I
    
have shared your website in my social networks
    
				
    
			
    
			
    34. 

		
  34. 
			
			
    35. 

		
  35. 
			
    
				

				
    
					
    Howdy! Do you know if they make any plugins to safeguard
    
against hackers? I’m kinda paranoid about
    
losing everything I’ve worked hard on. Any
    
recommendations?
    
				
    
			
    
			
    36. 

		
  36. 
			
			
    37. 

		
  37. 
			
    
				

				
    
					
    You’re so interesting! I don’t believe I’ve read a single thing like
    
that before. So great to discover somebody with genuine thoughts on this subject.
    
Really.. thanks for starting this up. This site is one thing that is required on the internet, someone with
    
some originality!
    
				
    
			
    
			
    38. 

		
  38. 
			
    
				

				
    
					
    Wonderful blog! Do you have any recommendations for
    
aspiring writers? I’m planning to start my own website soon but I’m a little lost on everything.
    

    Would you propose starting with a free platform like WordPress or
    
go for a paid option? There are so many choices out there that
    
I’m completely confused .. Any recommendations?
    

    Many thanks!
    
				
    
			
    
			
    39. 

		
  39. 
			
			
    40. 

		
  40. 
			
    
				

				
    
					
    I’ve been surfing online greater than three hours these days,
    
yet I by no means discovered any fascinating article like yours.
    

    It is beautiful price enough for me. In my opinion, if all
    
webmasters and bloggers made good content as you did, the net shall be much more helpful than ever
    
before.
    
				
    
			
    
			
    41. 

		
  41. 
			
    
				

				
    
					
    These are truly impressive ideas in concerning blogging.
    

    You have touched some pleasant things here. Any way keep up wrinting.
    
				
    
			
    
			
    42. 

		
  42. 
			
    
				

				
    
					
    Wow, wonderful blog layout! How long have you been blogging for?
    
you make blogging look easy. The overall look of your site is wonderful,
    
let alone the content!
    
				
    
			
    
			
    43. 

		
  43. 
			
			
    44. 

		
  44. 
			
    
				

				
    
					
    It’s amazing to visit this web page and reading the
    
views of all friends on the topic of this piece of writing, while I am
    
also eager of getting know-how.
    
				
    
			
    
			
    45. 

		
  45. 
			
			
    46. 

		
  46. 
			
			
    47. 

		
  47. 
			
			
    48. 

		
  48. 
			
			
    49. 

		
  49. 
			
			
    50. 

		
  50. 
			
    
				

				
    
					
    I get pleasure from, cause I discovered exactly what I was taking a look for.
    
You’ve ended my four day long hunt! God Bless you man. Have a great day.
    
Bye
    
				
    
			
    
			
    51. 

		
  51. 
			
			
    52. 

		
  52. 
			
			
    53. 

		
  53. 
			
			
    54. 

		
  54. 
			
			
    55. 

		
  55. 
			
			
    56. 

		
  56. 
			
			
    57. 

		
  57. 
			
			
    58. 

		
  58. 
			
			
    59. 

		
  59. 
			
			
    60. 

		
  60. 
			
			
    61. 

		
  61. 
			
			
    62. 

		
  62. 
			
			
    63. 

		
  63. 
			
			
    64. 

		
  64. 
			
			
    65. 

		
  65. 
			
			
    66. 

		
  66. 
			
			
    67. 

		
  67. 
			
			
    68. 

		
  68. 
			
    
				

				
    
					
    I feel this is among the such a lot important information for
    
me. And i’m happy reading your article. But wanna observation on some general issues, The web site taste is wonderful, the articles is really great :
    
D. Excellent process, cheers
    
				
    
			
    
			
    69. 

		
  69. 
			
    
				

				
    
					
    I think other web site proprietors should take this website as an model, very clean and excellent user friendly style and design, let alone the content. You are an expert in this topic!
    
				
    
			
    
			
    70. 

		
  70. 
			
			
    71. 

		
  71. 
			
			
    72. 

		
  72. 
			
    
				

				
    
					
    Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
    
				
    
			
    
			
    73. 

		
  73. 
			
			
    74. 

		
  74. 
			
			
    75. 

		
  75. 
			
			
    76. 

		
  76. 
			
			
    77. 

		
  77. 
			
			
    78. 

		
  78. 
			
			
    79. 

		
  79. 
			
			
    80. 

		
  80. 
			
			
    81. 

		
  81. 
			
			
    82. 

		
  82. 
			
			
    83. 

		
  83. 
			
			
    84. 

		
  84. 
			
    
				

				
    
					
    Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
    
				
    
			
    
			
    85. 

		
  85. 
			
			
    86. 

		
  86. 
			
			
    87. 

		
  87. 
			
			
    88. 

		
  88. 
			
			
    89. 

		
  89. 
			
			
    90. 

		
  90. 
			
			
    91. 

		
  91. 
			
			
    92. 

		
  92. 
			
			
    93. 

		
  93. 
			
			
    94. 

		
  94. 
			
			
    95. 

		
  95. 
			
			
    96. 

		
  96. 
			
			
    97. 

		
  97. 
			
			
    98. 

		
  98. 
			
			
    99. 

		
  99. 
			
			
    100. 

		
  100. 
			
			
    101. 

		
  101. 
			
			
    102. 

		
  102. 
			
			
    103. 

		
  103. 
			
			
    104. 

		
  104. 
			
    
				

				
    
					
    I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article.
    
				
    
			
    
			
    105. 

		
  105. 
			
			
    106. 

		
  106. 
			
			
    107. 

		
  107. 
			
			
    108. 

		
  108. 
			
			
    109. 

		
  109. 
			
			
    110. 

		
  110. 
			
			
    111. 

		
  111. 
			
    
				

				
    
					
    Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
    
				
    
			
    
			
    112. 

		
  112. 
			
			
    113. 

		
  113. 
			
			
    114. 

		
  114. 
			
			
    115. 

		
  115. 
			
			
    116. 

		
  116. 
			
			
    117. 

		
  117. 
			
			
    118. 

		
  118. 
			
			
    119. 

		
  119. 
			
    
				

				
    
					
    Can you be more specific about the content of your article? After reading it, I still have some doubts. Hope you can help me.
    
				
    
			
    
			
    120. 
		


			

		
Deixe um comentário