Yahoo!, O Grande Case do Hadoop Para Big Data
O Hadoop está ganhando cada vez mais mais aceitação comercial. Estamos vendo uma série de sinais de sua crescente popularidade. Conversamos recentemente com um executivo do Yahoo! e ficou bastante claro que a empresa está reconstruindo seu futuro no armazenamento distribuído e em tecnologias de análises de grandes volumes de dados.
É um caminho similar ao que estamos vendo com as grandes redes sociais e fornecedores de computação em nuvem. O Facebook usa o Hadoop para fazer análises sociais mais elaboradas que fortalecem a capacidade de fornecer o alto nível estabelecido de qualidade das suas recomendações sociais. O Windows Azure também está adotando o Hadoop.
Em uma ligação recente do Eric Baldeschwieler, vice-presidente do Hadoop, para o Yahoo!, foi falado que o Hadoop está no núcleo da reconstrução do Yahoo!, sendo indispensável para seu futuro.
Perguntamos para ele por email o que o Hadoop acrescentará para o futuro do Yahoo!.
Aqui está sua declaração preparada:
“A visão do Yahoo! é se tornar o centro da vida das pessoas online fornecendo experiências relevantes na web. Pense no Hadoop como uma camada da fundação sob dois dos mais preciosos empreendimentos do Yahoo!: seus dados de usuários e sua coleção de conteúdo diversificado. Para o Yahoo!, o processamento e análise de dados é a chave para a compreensão da sua enorme audiência global, enriquecendo produtos e conectando os usuários com anunciantes.
Como o Hadoop está cada vez mais se tornando um armazém de dados para o Yahoo!, a empresa espera acelerar o ritmo de inovação em todas as experiências de seus consumidores e anunciantes.”
O Yahoo! começou a usar o Hadoop inicialmente em 2006 como um projeto de ciência para processar e analisar grandes conjuntos de dados. Eles desenvolveram um protótipo em 20 nodes(instâncias). Hoje, o Yahoo! gerencia mais de 25.000 nodes de análise e processamento de dados.
O Yahoo! descobriu que o desenvolvimento de seus produto poderia ser feito em uma fração de tempo com o Hadoop. Eles viram que poderiam jogar máquinas em um projeto para processar cada vez mais rápido e assim rentabilizar mais aceleradamente. O que antes levava 29 dias pode ser feito em menos de um.
Como resultado, o Yahoo! começou a integrar o Hadoop em todas as partes do seu negócio. A empresa esvaziou os dados do departamento de TI e os armazenou em um cluster.
Hoje, o Yahoo! utiliza o Hadoop para determinar a melhor posição da publicidade e para otimização de conteúdo. Por exemplo, a empresa começou a testar a forma como a otimização trabalha na página inicial, servindo conteúdo relevante ao usuário. E funcionou. O Yahoo! viu um aumento de 150% nas métricas de engajamento dos usuários com sua home.
O Hadoop está se tornando o padrão para processamento dados e analytics em redes sociais, em projetos como o genoma, no IBM Big Sheets e vários outros. Alguns vêem isso como prova de que ele ganhou aceitação comercial. E recentemente houve um grande aumento no número de vagas para uso da tecnologia no mercado. Já temos notícias também de algumas empresas usando Hadoop no Brasil. E você, aposta no uso do Hadoop se tornando cada vez mais mainstream?
Quem será o próximo grande player dos projetos relacionados a Big Data? Alguém disse Cassandra?
Valeu pelo trackback! Vamos falar mais do assunto por aqui em breve…
O Hadoop é um dos projetos mais interessantes dos últimos tempos. O potencial é imenso, tanto no ambiente de Internet como em aplicações corporativas. A questão é que empresas como o Google (via MapReduce) e Yahoo! (via Hadoop) já aprenderam a lidar com “BigData” de forma produtiva. O restante do mercado, especialmente as grandes corporações, ainda está preso em outros paradigmas – notadamente relacional (aplicações corporativas convencionais) e “data warehouse”/”data mining”.
Acredito que boa parte do trabalho de “data mining” tradicional poderia ser feito com clusters, mas a mudança de paradigma é muito grande e deve demorar um pouco para invadir de vez o mercado corporativo. É uma grande oportunidade, talvez para projetos open source, ou mesmo para serviços especializados.
Cara muito bom não tinha como não colocar no meu blog tb, claro dando o devido crédito!
http://www.nosqlbr.com.br/yahoo-o-grande-case-d…
É isso mesmo Carlos!
Chegou a ver este gráfico? http://www.indeed.com/jobtrends/Hadoop.html Ele comprova a tendência…
Dica do @edmarferreira.
Então estou mais envolvido com o MongoDB, mas tentarei instalar o Hadoop aqui no meu windows e brincar um pouco nele com PHP. Qnd eu fizer algo postarei no meu blog: nosqlbr.com.br
Com crtza lerei qnd sair uma matéria nova aqui pois sempre acompanho.
Velho link la no post do meu blog ta vindo certo para ca sim. Qquer coisa da um grito.
Velho link la no post do meu blog ta vindo certo para ca sim. Qquer coisa da um grito.
gabriel natias da silva
http://www.haddop.com.brm