O que é Talend? Um canivete suíço com Talento para Dados

Compartilhe este post

Share on facebook
Share on linkedin
Share on twitter
Share on email

Muitas pessoas já conhecem o Talend como uma ferramenta de ETL e integração de dados, mas seu potencial vai muito além do que se espera de uma ferramenta deste tipo. Trata-se de um verdadeiro canivete suíço com inúmeros recursos para se conectar com qualquer tipo de fonte, extrair e transformar dados livremente sem se restringir aos componentes padrão e escrever os resultados em qualquer lugar. Falando assim parece mais do mesmo: só mais uma definição de ETL, mas a impressão que fica para quem começa a utilizar o Talend é outra.

Super canivete suíço
Para um canivete de bolso, este aqui pode ser um exagero. Mas quando se trata de uma solução para trabalhar com dados, você vai querer contar com o maior número de recursos possíveis para resolver as demandas do dia-a-dia.

Sim, tudo começou como uma ferramenta ETL, mas evoluiu para algo muito maior: uma suíte unificada para gestão de dados, que permite resolver não só as questões de integração – levando o dado de um lado para o outro – mas também refinar a Qualidade dos Dados estendendo as rotinas tradicionais de unificar, remover duplicados ou aplicar aquelas velhas rotinas que parecem ter sido escritas na pedra (pois quando qualquer manutenção é necessária…). É possível fazer muito mais com o Talend, pois ele integra todo o ciclo de vida dos dados, envolvendo todas as pessoas que participam dele em um único pipeline.

Imagine, por exemplo, ler um Data Lake HDFS e capturar os dados refinados diretamente pelos Data Owners e Data Stewards e então cruzar estes dados com absolutamente tudo o que for necessário, realizar inúmera transformações, aplicar regras e, quando alguma coisa fugir do esperado, devolver a tomada de decisão sobre qual dado é melhor para quem efetivamente conhece o dado. Tudo isso através de ferramentas totalmente self-service tão ou mais intuitivas até mesmo que o próprio Excel.

Com o Talend Data Preparation e o Talend Data Stewardship integrados ao Talend Studio é possível fazer exatamente isso.

Job Talend demonstrando o verdadeiro canivete suíço que é esta ferramenta.
Desculpe, mas não foi possível abrir todas as funções deste canivete e exibir em uma única imagem. 🙂

Apesar de pouco convencional, a imagem anterior apresenta um Job totalmente funcional. Um único mapa fazendo a leitura de Azure Storage Queue, Amazon RDS, CDC – Change Data Capture, Microsoft Excel (com enriquecimento dos endereços contidos em uma das colunas através do Google Maps), Oracle, Hive, arquivos CSV, JSON e XML, HDFS (com os dados deste Data Lake refinados através do Talend Data Preparation), Salesforce e Mysql (com um cruzamento Fuzzy entre estes dois últimos).

E então, neste mesmo mapa, a escrita dos resultados em um tópico Kafka, tabelas do Google Big Query, MapR, Amazon Redshift (após a devida anonimização dos dados conforme a Lei Geral de Proteção de Dados – LGPD), escrita dos registros únicos no Apache Impala (e os duplicados enviados por e-mail e para uma API Service Now), Snowflake, MongoDB (com o envio de uma push notification através de um serviço REST após a carga) e, por fim, aqueles registros que não passaram nas regras determinadas neste mapa são devolvidos para verificação pelos seus Owners através do Talend Data Stewardship.

É muita coisa para se descrever em um breve texto e não falamos nem de 1% do que essa solução é capaz. O melhor de tudo é que você pode clicar na imagem acima para ampliar e tudo estará tão intuitivo e auto-documentado que irá dispensar mais descrições.

E se você precisar saber mais sobre como extrair o máximo dos seus dados com essa poderosa solução, e quiser saber mais sobre treinamentos e custos do produto fique à vontade para entrar em contato conosco através do formulário abaixo.

[ninja_forms id=1]

Assine nossa newsletter

Fique por dentro das novidades mais recentes sobre o Talend e aprenda com nossos experts

Leia outros posts do nosso blog

Talend

Talend Studio: Usando variáveis de contexto

Olá, neste job mostraremos como definir variáveis de contexto no Talend Studio. Variáveis de contexto podem armazenar diretórios, configuração de banco de dados, enfim tipos

Talend, MDM, Data Warehouse e Inovação

O Gartner recentemente desenvolveu uma série de estudos que confirmam a nossa percepção de mercado. O primeiro estudo é dedicado ao Master Data Management (MDM)

Quer acelerar a tomada de decisão com dados de qualidade?

Fale conosco agora mesmo!

Fale com nossos experts

O café é por nossa conta!