Integração de dados na MATERA Systems

Atualmente a ferramenta utilizada para a integração de dados entre sistemas na MATERA é o Integrador. Ele não possui base de dados de negócio própria. Sua função é permitir que outros sistemas troquem dados.

O Integrador pode atuar de três maneiras:

  • Importação: Inserindo, em um Sistema A, dados de um arquivo texto gerado por um Sistema B.


  • Importação: Inserindo, em um Sistema A, dados lidos direto da base de dados do Sistema B.


  • Exportação: Extraindo dados de um Sistema A, e gravando estes dados na forma de um arquivo texto, que posteriormente será processado por um Sistema B.

O sistema Integrador facilita o desenvolvimento e a automação de interfaces entre sistemas. O desenvolvimento é facilitado através do uso de templates que simplificam, por exemplo, a tarefa de parse e formatação de arquivos texto, sem que seja necessária qualquer codificação para isso. A automação é possibilitada através de diversos tipos de agendamento, que podem ser monitorados através de painéis de monitoramento ou relatórios de execução das interfaces.

Tipos de interface suportadas:

  • leitura/geração de arquivo texto posicional
  • leitura/geração de arquivo texto CSV
  • leitura/geração de arquivo XML recebido via IBM MQSeries
  • transporte de dados de um banco de dados para outro

Principais formas de agendamento:

  • por dia da semana e horário
  • por evento ocorrido na base de dados
  • importação automática: arquivo é lido assim que disponibilizado pelo sistema origem

Features adicionais:

  • envio automático de arquivo via FTP para sistema destino
  • compactação de arquivo em formato “.zip”
  • tratamento para quebras de linhas de acordo com o sistema destino (Unix / Windows)
  • possibilidade de disparo manual de qualquer interface
Outra ferramenta utilizada para integração de dados na MATERA é o Pentaho Data Integration, que possui uma versão Community, versão free que tem suporte da comunidade de usuários, conhecida como Kettle. Esta é uma ferramenta ETL (Extraction, Transformation and Loading) com uma abordagem orientada a metadados. Por ter uma interface gráfica, toda em drag and drop, essa ferramenta é muito intuitiva, não havendo grandes dificuldades em utilizá-la.
Imagem retirada do website www.pentaho.com

 

Além de realizar a troca de dados entre sistemas, o Pentaho Data Integration oferece diversas opções de transformação dos dados antes de exportá-los à base de destino. Entre essas opções se destacam:

  • filtrar dados a serem exportados
  • substituição de valor – por exemplo, caso necessário é possível trocar todos os valores A por B na exportação
  • merge, diff e join entre duas tabelas
  • ordenar os dados
  • executar uma classe Java
  • adicionar novas colunas com determinados valores à base que receberá os dados

Basicamente essa ferramenta funciona definindo-se uma ou mais fontes de entrada de dados e uma fonte de saída para onde os dados de entrada serão exportados.

Entre os diversos tipos de dados de entrada, se destacam:

  • arquivos texto, CSV, XML, JSON, MS Access e MS Excel
  • mensagens de e-mail
  • google analytics
  • uma tabela de uma base de dados (via JDBC)

 

Entre os tipos de saída, se destacam:

  • arquivo texto, SQL, XML, JSON, MS Access, MS Excel
  • relatório do Pentaho
  • tabela de uma base de dados (via JDBC)
O Integrador já é usado em clientes da MATERA Systems há um bom tempo, já o Pentaho Data Integration ainda está começando a ser usado na empresa, mas já foi de essencial em projetos da empresa. Com essas ferramentas, a MATERA disponibiliza a seus clientes soluções diferenciadas para integração de dados.

Por MATERA SYSTEMS

Postado em: 20 de março de 2012

Confira outros artigos do nosso blog

Nova diretoria de Inovação e Negócios da MATERA busca parcerias

20 de abril de 2017

Vania Hoshii

Páscoa Feliz 2017

18 de abril de 2017

Tamiris Fernanda Cella

Hackathon Internet Banking: UI/UX + APIs

15 de março de 2017

Pedro Farci

Three laws that enable agile software development

09 de março de 2017

Celso Gonçalves Junior

Deixe seu comentário