Apache Hadoop é uma solução de código aberto para computação distribuída em big data
Big data é um termo de marketing que abrange toda a ideia de dados extraídos de fontes como mecanismos de pesquisa, padrões de compras em supermercados rastreados por meio de cartões de pontos etc. No mundo moderno, a Internet tem tantos fontes de dados, que na maioria das vezes a escala os torna inutilizáveis sem processamento e o processamento levaria uma quantidade incrível de tempo por qualquer servidor. Digite Apache Hadoop
Menos tempo para processamento de dados
Ao aproveitar a arquitetura Hadoop para distribuir tarefas de processamento em várias máquinas em uma rede, os tempos de processamento são reduzidos astronomicamente e as respostas podem ser determinadas em quantidades razoáveis de tempo. O Apache Hadoop é dividido em dois componentes diferentes: um componente de armazenamento e um componente de processamento. Em termos mais simples, Hapood faz um servidor virtual de várias máquinas físicas. Na verdade, o Hadoop gerencia a comunicação entre várias máquinas de modo que elas trabalhem juntas o suficiente para parecer que há apenas uma máquina trabalhando nos cálculos. Os dados são distribuídos por várias máquinas para serem armazenados e As tarefas de processamento são alocadas e coordenadas pela arquitetura Hadoop. Esse tipo de sistema é um requisito para converter dados brutos em informações úteis na escala de entradas de Big Data. Considere a quantidade de dados recebidos pelo Google a cada segundo dos usuários que inserem solicitações de pesquisa. Como um amontoado total de dados, você não saberia por onde começar, mas o Hadoop reduzirá automaticamente o conjunto de dados em subconjuntos de dados menores e organizados e atribuirá esses subconjuntos gerenciáveis a recursos específicos. Todos os resultados são relatados e reunidos em informações utilizáveis.
Um servidor fácil de configurar
Embora o sistema pareça complexo, a maioria das partes móveis está obscurecida por trás da abstração. Configurar o servidor Hadoop é bastante simples, basta instalar os componentes do servidor em um hardware que atenda aos requisitos do sistema. A parte mais difícil é planejar a rede de computadores que o servidor Hadoop utilizará para distribuir as funções de armazenamento e processamento. Isso pode envolver a configuração de uma rede local ou a conexão de várias redes na Internet. Você também pode utilizar serviços de nuvem existentes e pagar por um cluster Hadoop em plataformas de nuvem populares como Microsoft Azure e Amazon EC2. Eles são ainda mais fáceis de configurar, pois você pode girá-los ad hoc e, em seguida, desativar os clusters quando não precisar mais deles. Esses tipos de clusters são ideais para testes, pois você paga apenas pelo tempo em que o cluster Hadoop estiver ativo.
Processe seus dados para obter as informações necessárias
Big data é um recurso extremamente poderoso, mas os dados são inúteis a menos que possam ser devidamente categorizados e transformados em informações. Atualmente, clusters Hadoop oferecem um método extremamente econômico para processar essas coleções de dados em informações.
.png){kind=icon}
