Yahoo! Investe Pesado na Comunidade Hadoop

Recentemente o Yahoo reuniu mais de 250 no evento para desenvolvedores Hadoop, demonstrando mais uma vez o nível de interesse que a empresa tem em iniciativas voltadas para big data open source.

O Yahoo! é sem dúvida o maior incentivador do Hadoop hoje. A empresa apóia eventos da comunidade de desenvolvedores em todo o mundo. O Yahoo! que nem sempre foi reconhecida pelos seus esforços na computação em nuvem, agora mostra seu profundo comprometimento com o Hadoop e demonstra a visão da empresa que entende as maneiras que o big data pode ser utilizado para resolver questões tecnológicas importantes, como por exemplo o spam.

O Hadoop, de acordo com a Wikipedia, “é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados” A tecnologia, permite que os aplicativos trabalhem com uma camada de abstração para clusters de computadores e assim processem petabytes de dados.”

A conferência de desenvolvedores contou com discussões da comunidade Hadoop, incluindo uma apresentação sobre como usá-lo para combater o spam e com uma discussão liderada por um engenheiro chefe do Facebook.

Vishwanath Ramarao é diretor de engenharia anti-spam do Yahoo! Mail. De acordo com o blog de desenvolvedores do Yahoo!, Vish descreveu o jogo de gato e rato que acontece com os spammers, e como o Yahoo! usa o Hadoop para abstrair a complexidade da análise de dados em grande escala e assim usar inteligência artificial para manter os spammers sob controle.

Johhn Sichi, chefe de engenharia da equipe de infra-estrutura de dados do Facebook apresentou um panorama do trabalho do Facebook usando Hadoop para gerenciar seus dados que crescem 800% ao ano. Em Março, o volume de tráfego atingiu 200 GB por dia. Até o final do ano passado, o tráfego chegou a 12 terabytes por dia.

Empresas como Yahoo! e Facebook usam o Hadoop para organizar os dados e processá-los a partir de múltiplas fontes. Por exemplo, o Facebook pode usá-lo para organizar sua rede de anúncios.

O ecossistema Hadoop segue crescendo, fomentado pelo Y!. E isso mostra que sua base tecnológica continua sendo uma das mais poderosas do mundo.

Se você se interessa por Hadoop, e outras tecnologias que movem a web moderna, não deixe de conhecer nosso blog parceiro, o Escalabilidade.com. Siga também o @escalabilidade no twitter.

0 responses to “Yahoo! Investe Pesado na Comunidade Hadoop

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *