O Yahoo lançou recentemente produtos de segurança e de fluxo de trabalho para a comunidade open source do Hadoop.

Os produtos foram construídos internamente no Yahoo e são projetados para fornecer mais incentivos à utilização do Hadoop nas empresas para o armazenamento de dados distribuídos. Os produtos serão doados para a Apache Foundation como parte dos eventos na Hadoop Summit, que ocorreram ontem na sede do Yahoo.

O Yahoo começou a utilizar o Hadoop em 2005, e agora o utiliza em todos os aspectos de seus negócios: gestão de tráfego, de conteúdo e personalização para os visitantes da home page. O Yahoo possui 170 petabytes de armazenamento, e pode aumentar esse número em até três vezes nos próximos três meses, com os novos produtos da empresa.

Desde que as corporações se motivaram a proteger seus bens acima de tudo, a falta de segurança aparente na infra-estrutura do Hadoop dá uma certa insegurança nos gerentes de TI. O novo serviço de segurança do Yahoo virtualiza clusters e aplica diferentes níveis de segurança baseado nas permissões do usuário. É um serviço de gestão de segurança de TI.

O Oozie, um motor de workflow servidor projetado para automatizar os processos complexos necessários para configurar e gerenciar a infra-estrutura do Hadoop, racionaliza o processo. Ele permite a configuração de um conjunto de fases, passos e decisões. Os workflows gerenciam os métodos, as vezes personalizados, que as pessoas usam quando configuram o Hadoop.

O Yahoo é o principal colaborador e usuário do Apache Hadoop: A empresa faz atualmente a maior implementação do Hadoop em todo o mundo, com 35.000 servidores ativos na produção.

A distribuição do Hadoop pelo Yahoo com o Security (beta) e o Oozie, a ferramenta de workflow de servidor para o Hadoop, estão disponíveis através do Yahoo! Developer Network.