Conforme prometi no post anterior, falarei um pouco sobre algumas das palestras que mais gostei do AWS Reinvent 2014. Vou começar pela palestra em que Jason Timmes, que é Associate Vice President of Software Development da Nasdaq nos contou como eles migraram para o Redshift como seu principal serviço de Data warehouse.

Redshift é um banco de dados rápido, totalmente gerenciado pela AWS e otimizado para grandes massas de dados em escala de petabytes.

A NASDAQ (National Association of Securities Dealers Automated Quotations; em português, Associação Nacional de Corretores de Títulos de Cotações Automáticas) é um mercado de ações automatizado norte-americano onde estão listadas mais de 2800 ações de diferentes empresas, em sua maioria de pequena e média capitalização. É o segundo maior mercado de ações em capitalização de mercado do mundo, depois da Bolsa de Nova York.

Alguns pontos de destaque da palestra:

  • A NASDAQ faz upload de aproximadamente 7 bilhões de novas de linhas por dia para o Redshift, chegando a picos de 14 bilhões em um único dia.
  • Através da AWS conseguiram atender todos os severos requisitos de segurança que tinham.
  • O Redshift custa apenas 43% do que custava a antiga solução on-premisse que utilizavam.
  • Melhor taxa de escrita de 2,76 milhões de linhas por segundo.
  • Consultas (queries) estão mais rápidas no que na antiga solução.
  • Eles importam os dados de diversos Banco de Dados para o S3 que serve como “fonte da verdade” (source of truth), e depois importam do S3 direto para o Redshift, veja:

arc

  • Os usuários finais para consultar os dados no Redshift usam ferramentas como Pentaho, Linguagem R, ou SQL mesmo para exportar dados para manipular no Excel.
  • Atualmente, utilizam 21 máquinas/nós do Redshift.

Veja o vídeo da palestra na Integra “(FIN401) Seismic Shift: Nasdaq’s Migration to Amazon Redshift“:

Fique ligado nos próximos posts…

Share This