Uma oferta de emprego da Apple revela que a empresa está usando ou vai usar o Hadoop para seu sistema iAds. A vaga é para “Engenheiro de Software Sênior – Hadoop” com experiência em MapReduce, Hive e também em HBase ou Cassandra. O Oozie e o Flume também são mencionados. O anúncio foi detectado pelo site The Register, e desde então foi removido do site da Apple. Mas, ao analisar a lista de oportunidades de emprego da Apple percebemos algumas vagas que podem fazer uso do Hadoop, inclusive na melhora da experiência do iOS.

A descrição da vaga de emprego:

O candidato será responsável pelo seguinte: design e construção de uma infraestrutura Hadoop escalável baseada em ETL, construção de componentes modulares no gerenciamento e transporte de grandes volumes de dados, coordenar engenheiros júnior em tecnologias baseadas em Hadoop, trabalhar com arquitetos na implementação do pipeline de dados.

A Apple lançou o iAds no ano passado. Não sabemos se a Apple estava utilizando o Hadoop desde o começo ou se estará fazendo a transição para o Hadoop num futuro próximo, já que a execução de analytics sobre interações de anúncios é exatamente o tipo de caso onde o Hadoop se aplica.

E parece que o iAds não é o único lugar que a Apple está usando o Hadoop. Também existe uma vaga para Analista de BI Sênior que requer experiência com Hadoop/Pig. A experiência com Hadoop/Pig também é mencionada como um diferencial na descrição da vaga de Engenheiro de Análise de Dados do iOS, que terá responsabilidades com data mining. Veja a descrição da vaga de emprego:

Como os dispositivos iOS são usados? Como eles podem ser melhorados? Quais são os tipos de problemas que nossos usuários enfrentam? Esses são os tipos de perguntas que uma equipe de análise de dados do iOS precisa responder. Procuramos um desenvolvedor apaixonado para nos ajudar a construir e expandir a nossa capacidade de processamento de dados.

Se você gosta de programar e se fascina com o trabalho com terabytes de conjuntos de dados, queremos falar com você. Com sua experiência no processamento de grandes conjuntos de dados você trabalhará com engenheiros para desenvolver um processamento de dados capaz de escalar com o crescimento do iOS. Você irá investigar e utilizar tecnologias de software de ponta para construir um sistema que pode evoluir com as necessidades de mudança da engenharia do iOS. Seu trabalho terá um impacto direto na direção do iOS.

O Hadoop é uma tecnologia de banco de dados criado por Doug Cutting e inspirado pelos algoritmos MapReduce da Google. É particularmente importante para o processamento de big data em clusters. A Apple se junta às muitas empresas de tecnologia de ponta na utilização do Hadoop, incluindo: o Facebook, o Twitter e o Yahoo. Sempre que possível falamos do Hadoop por aqui ou no nosso blog parceiro, escalabilidade.com.

A necessidade de experiência do Hadoop presente nas vagas de emprego da Apple demonstra o quão prevalente é o Hadoop e a demanda de indivíduos qualificados para trabalhar com grandes quantidades de dados.