Duvidas Gerais (Cluster)

[jrinformatica]

Topico para discutir tudo sobre Cluster

[Marcos Guedes]

Minha contribuição:

Um cluster, ou aglomerado de computadores, é formado por um conjunto de computadores, que utiliza um tipo especial de sistema operacional classificado como sistema distribuído. Muitas vezes é construído a partir de computadores convencionais (personal computers), os quais são ligados em rede e comunicam-se através do sistema, trabalhando como se fossem uma única máquina de grande porte. Há diversos tipos de cluster. Um tipo famoso é o cluster da classe Beowulf, constituído por diversos nós escravos gerenciados por um só computador.

Quando se fala de cluster de um HD (Hard Disk), refere-se ao cruzamento de uma trilha com um setor formatado. Um HDD (hard disk drive) possui vários clusters que serão usados para armazenar dados de um determinado arquivo. Com essa divisão em trilhas e setores, é possível criar um endereçamento que visa facilitar o acesso a dados não contíguos, assim como o endereçamento de uma planilha de cálculos ou, como um exemplo mais simples, o tabuleiro do jogo "Batalha Naval"

Fonte:
http://pt.wikipedia.org/wiki/Cluster

Acredito que o Hugo entenda bastante disto!

[jrinformatica]

Bom vou começar a falar um pouco sobre Cluster...
Primeiramente antes de se montar um cluster é preciso que tipo de cluster vc vai montar pois existe varios tipos de aplicações

Clusters para alta disponibilidade Conhecidos como HA-Alta Disponibilidade (High Availability (HA) and Failover).

Clusters para balanceamento de carga Conhecidos como (Load Balancing).

Clusters para alta performance HPC (High Performance Computing).

Processamento Distribuído ou Processamento Paralelo.

A 2º coisa que se tem que saber é em relação ao Sistema Operacional. Qual S.O vc vai usar??? Eu aconselho usar o Linux mesmo pq se vc tentar usar o windows a chance é grande de vc nao obter resultados pq so existe no mundo 2 programas pra windows alem da licena ser um fortuna ainda..rsrsrs A Distribuição do Linux que vc pode usar pode ser qualquer uma que tenha suporte a isso.. Eu recomendo a RedRat ou FEDORA (eu gosto mais e é mais robusta tb). Se quiser pode usar debian, Suse enfim.

Bom isso foi um pequeno resumo do que precisamos para começar a montar um cluster. Conforme for aparecendo duvida a gente vai comversando aqui...
T+
Valeu....

[hugo]

puts

escrevi um mega texto aqui e pelo tempo de conexao que demorou
perdi tudo

depois posto de novo

[hugo]

a situacao abaixo pode ser chamada de cluster?

maquina A e maquina B
duas placas de rede em cada uma
as 1as placa vao ligadas num powerconnect dell vpn
as 2as seriam /1000 e estariam ligando as duas maquinas

uma espelhada na outra

na falta do hardware de uma a outra passa atender

usaria linux suse

e ai? o nome seria cluster?
neste exemplo que dei funcionaria bem?
o custo / beneficio me atrai!

valeu

aguardo comentarios

[jrinformatica]

pode sim hugo esse tipo de cluster se chama "cluster de Alta Disponibilidade (High Availability (HA) and Failover)" ou somente (HA). com os itens ai q vc falo da sim tranquilamente..rsss
esse cluster de alta disponibilidade funcionaria desse jeito mesmo vc vai ter os pcs em cluster e se a maquina A parar a maquina B assumi todos os processos da maquina A, ou seja tudo q a maquina A estava processando naquele momento vai ser tudo transferido pra maquina B e assim por diante... se a maquina B para ai a maquina C assume D E F G e por ai vai (claro se vc coloca tudo isso de maquina em cluster ne)...rsrss

Agora em relação ao SUSE é uma excelente opção so mantenha o kernel dele sempre atualizado na ultima versao pra vc ter maior confiabilidade.

Outra duvida q as pessoas tem é em relação aos pcs... se tem q ser todos de ultima geração essas coisas... na verdade nao precisa vc consegue montar um cluster desde de 486 ate os pcs modernos de hj... A unica coisa q vc tem q atentar é em relação a configuração das maquinas.. por ex: se vc tem 10 pcs 486 tente manter as configurações deles parecidas. exemplo placa mae da mesma marca e modelo, memoria da mesma marca e modelo (ou o mais parecido possivel pq assim vc evita problema na execução do cluster)... Isso q falei nao impede vc de ter maquinas diferentes nao...É so pra evitar problemas futuros mesmo mas pode ser qualquer pc de qualquer marca tb..

Vc consegue montar tudo isso ate co mum simples hub de 8 portas (se for um projeto pequeno é claro). Mas com o q vc te mai em cima da tranquilo hugo... A única coisa q nao entendi é as 2 placas de rede em cada pc??? na vdd uma so em casa um ja daria conta... vo colocar uum link aki pra vc ver como ficaria seu cluster. tem um foto la mostrando tudo o q falei aki..

http://www.vivaolinux.com.br/artigo/Funcionamento-de-um-cluster-Linux

[hugo]

eu estava usando aqui um dell powered 1800, dois hds scsi de 40, um xeon 2.0 4gb de ram

tentei fazer up nele mais a dell nao vende mais as memos, hds e processador pra este modelo

tive um problema na fonte dele e o servidor ficou parado 10 dias

ja resolvi o servidor mais ele ta parado pois coloquei no lugar um 5400 intel montado por mim mesmo com 4gb ram ddr2 800

tenho varias maquinas identicas aqui na rede que montei

por incrivel que pareca esta maquina ja ta rodando a 2 meses 24horas sem nenhum travamento

me custou 900 reais

dai como tenho facilidade de colocar outra maquina identica espelhando queria montar este cluster

nao sabia que eu poderia usar um switch comum

nao entendo tambem muito bem sobre o clustes, e achei que seria necessario uma segunda placa de rede nas maquinas (gigalan) para fazer as atualizacoes entre elas

aqui na nossa rede tenho 32 maquinas funcionando direto
temos switch 3com e um Dlink

vou ler o link que postou e depois trocamas mais ideias

a dell esta pra me passar uma como funcionaria este powerconnect
eu nao adquiri ele ainda

valeu valeu

[jrinformatica]

e ai hugo blz... seguinte pelo q to vendo aqui vc ta muito preocupado com o hardware ai ne...rsrs entao la vai minha pergunta... essa rede sua tem um processamento muito grande de informações ou ela pode ser equiparada a uma rede normal por ai???
Se sua resposta for SIM: entao vc deve se preocupar com as maquinas sim..
Se for NAO: entao nao se preocupe tanto assim com o hardware. (nao leve tao ao pé da letra tudo q escrevi acima sobre os hardware serem iguais blz..rsrs)

Sobre o switch tb da pra fazer tranquilamente. Caso seu switch nao tenha portas pra todos as maquinas nao tem problema. Compre a quantidade necessária de switch e faça o CASCATEAMENTO ENTRE OS SWITCH. Funciona q é uma bz... (Caso vc nao sabe o q é cascateamento me fale q te explico.. é moleza..rsrss)

Agora sobre as 2 placas de redes em cada maquina no final disso tudo vc ia acabar fazendo um compartilhamento de arquivos e nao um cluster. Na vdd vc pode ter 2 ou mais placas de rede em casa maquina pra pode fazer o cluster. Nesse caso vc teria q criar uma PONTE entre suas placas de rede pra depois montar o cluster (caso nao sabia como fazer a PONTE entre as plcas me avisa q te falo)..

Agora hugo pa terminar aki... tenha em mente essas coisas abaixo q o te falar:
1=linux
2=qual programa vou usar pra fazer o cluster
3=as maquinas nao precisam ser super-modernas
4=hub, switch funcionam perfeitamente em cluster
5=placa de rede 1 em casa maquina ja basta
6=configuração de rede (ip, mascara, gateway)
Pronto hugo se vc souber esses passo ai vc nao tera problema pra monstar seu clsuter.
De tudo q falei aki so falta uma coisa pra vc ??? vc ja sabe qual programa vai usar pra fazer o cluster???rsrss

qualquer coisa tamos ai

Fui!!!!

[hugo]

>>>jrinformatica
e ai hugo blz...

beleza



>>>seguinte pelo q to vendo aqui vc ta muito preocupado com o hardware ai ne...

sim, minha rede fica on 24horas, nao posso parar de forma alguma



>>>entao la vai minha pergunta... essa rede sua tem um processamento muito grande de informações

o trafego nao eh grande em questao de volume, e sim de importancia



>>> ou ela pode ser equiparada a uma rede normal por ai???

nao eh uma rede normal



>>>Se sua resposta for SIM: entao vc deve se preocupar com as maquinas sim..

sim, me preocupo
preciso de tudo fluindo normalmente pois uma parada aqui me causa grandes
perdas de faturamento


>>>Se for NAO: entao nao se preocupe tanto assim com o hardware. (nao leve tao ao pé da letra tudo q escrevi acima sobre os hardware serem iguais blz..rsrs)

nao tenho problemas em aquisicao de equipamentos, entao nao se preocupe com este ponto! hehehe, pelo proprietaria so trabalhariamos com Dell, hehehe, ele ta inclusive invocado comigo porque substitui uma powered dell server dele (que ta parado) por
uma maquina montado por mim aqui no cpd



>>>Sobre o switch tb da pra fazer tranquilamente. Caso seu switch nao tenha portas pra todos as maquinas nao tem problema. Compre a quantidade necessária de switch e faça o CASCATEAMENTO ENTRE OS SWITCH. Funciona q é uma bz... (Caso vc nao sabe o q é cascateamento me fale q te explico.. é moleza..rsrss)

sei o que eh cascateamento sim, ja tenho aqui, o que nao sabia eh que conseguiria
fazer um cluster usando switchs normais (padroes)



>>>Agora sobre as 2 placas de redes em cada maquina no final disso tudo vc ia acabar fazendo um compartilhamento de arquivos e nao um cluster.

?

>>>Na vdd vc pode ter 2 ou mais placas de rede em casa maquina pra pode fazer o cluster. Nesse caso vc teria q criar uma PONTE entre suas placas de rede pra depois montar o cluster (caso nao sabia como fazer a PONTE entre as plcas me avisa q te falo)..

acho que eh por ai meu problema
vou com tempo esbocar meu projeto e enviar a imagem pra voce dar uma analisada


>>>Agora hugo pa terminar aki... tenha em mente essas coisas abaixo q o te falar:
1=linux

sim


>>>2=qual programa vou usar pra fazer o cluster

nao faco nem ideia, pelo que tinha entendido seria feito a nivel de hardware
no switch powerconect da dell que tem ate mais funcoes, tipo firewalls e etc


>>>>3=as maquinas nao precisam ser super-modernas

a ideia eh primeiro resolver o problema, ou seja, um core 2 (5400) +- com 4gb ram

mais na verdade devo colocar uma maquina com memoria com ecc e tals, alem de
um raid em cada pra me previnir de pal em hd



>>>>>4=hub, switch funcionam perfeitamente em cluster

otimo


>>>>5=placa de rede 1 em cada maquina ja basta

interessante



>>>6=configuração de rede (ip, mascara, gateway)


>>>>Pronto hugo se vc souber esses passo ai vc nao tera problema pra monstar seu clsuter.

hoje estou meio corrido que estava em reuniao aqui com o pessoal que esta
instalando nosso gerador de energia, mais vou te passar todos detalhes
c podendo me ajudar neste projeto amigao, noh, nem sei como agradecer



>>>De tudo q falei aki so falta uma coisa pra vc ???
vc ja sabe qual programa vai usar pra fazer o cluster???rsrss

eu nao, mais voce vai me dar as opcoes nao vai ????
estou certo em afirmar que o gerenciamento sera pelo powerconnect da dell ??
ia ligar hoje pra eles pra saber sobre este equipamento mais nao deu tempo
assim que eu tiver te passo tambem


>>>>qualquer coisa tamos ai

cara

valeu mesmo

entro em contato em breve!




UMA PERGUNTA
voce trabalha com clusters na pratica?
valeu!

[jrinformatica]

trabalho sim... tenho um empresa pequena de informatica q faz prestação de serviços pra outras empresas aki.... monto redes de qualquer tipo, internet, manutenção de pcs criação de sites, prevenção contra possiveis ataques de hackers, teste de vulnerabilidade pra ver se seu site ou rede estao seguros essas coisas....rsrssss

mas estamos ai. pode postar seus projetos aki q eu vou ajudando sim no q for possivel..rsrssrs

[hugo]

atualiza teu perfil e coloca a tua cidade e talz

valeu

ou seja, em que cidade esta?

valeu parceiro

outra coisa, que programa vou utiliar para gerenciar o cluster ???

[hugo]

jr
andei dando mais uma estudada na coisa
analise esta ideia
coloco um dell t410 como servidor principal
coloco um dell powered 1800 como servidor secundario
nas duas maquinas eu trabalharia com virtualizacao
ou seja, colocaria nelas o vmware esx
a 1a maquina virtualizada no servidor principal seria meu servico oracle
a 1a maquina virtualizada no servidor secundario seria meu espelho
eu usaria um powerconect 2808 (giga) para os servidores e vlan
cascateio para o resto da rede

desta forma ao cair minha primeira maquina virtualizada na maquina principal, em alguns segundos assumiria a secundaria

o que acha desta solucao?

usando o suse nas duas maquinas no caso

valeu, aguardo sua opiniao amigo!

valeu

[jrinformatica]

e ai bz... ja atualizei meu perfil la...rsrs
entao eu uso o openmosix pra mostar o cluster ms tem varias outras opções. se vc procurar na net vai acha muita coisa..rsrs
tente usar ele pra ve se vc gosta... mais tarde coloco umas dicas sobre ele aki.. so noa vo colocar agora pq to meio corrido..rsrss

agora sobre a sua dica ai... nao sei se seria viavel isso com o vmware pq nunca fiz isso com ele. acho melhor vc fazer do jeito cero mesmo pq é mais seguro...rsrss
montar um cluster nao é tao dificil assim nao... é so instalar os programas certos, conf os ip e mascaras corretamente e pronto... seu cluster funcionara perfeitamente...rsrs

[jrinformatica]

hugo tem uma dica quente nesse site aqui
http://www.vivaolinux.com.br/artigo/Maquinas-velhas-a-todo-vapor/
so atende pra versao do linux q aqui é slackware e ignore o titulo da materia falando sobre maquinas velhas pq o processo é o mesmo em qualquer uma vlha ou nova....
Atente tb pra versao do seu kernel q isso é primordial senao nao vai funcionar.. veja a versao correta e entre em www.kernel.org e baixe a versao correta blz....

T+

[hugo]

jr
andei dando mais uma estudada na coisa
analise esta ideia
coloco um dell t410 como servidor principal
coloco um dell powered 1800 como servidor secundario
nas duas maquinas eu trabalharia com virtualizacao
ou seja, colocaria nelas o vmware esx
a 1a maquina virtualizada no servidor principal seria meu servico oracle
a 1a maquina virtualizada no servidor secundario seria meu espelho
eu usaria um powerconect 2808 (giga) para os servidores e vlan
cascateio para o resto da rede

desta forma ao cair minha primeira maquina virtualizada na maquina principal, em alguns segundos assumiria a secundaria

o que acha desta solucao?

usando o suse nas duas maquinas no caso

valeu, aguardo sua opiniao amigo!

valeu

jr

esta solucao que comentei acima esta me sendo oferecida pela dell
eles estao para me mandar os orcamentos
eles querem vender o T410 (servidor), o powerconnect 2808 (switch giga), mais
a prestacao de servico de deixar tudo funcionando

claro que isto feito pela dell vai ficar um absurdo, por isto estou pesquisando
pois preciso de custo beneficio seguranca. nao que a dell nao me ofereceria isto
mais se puder economizar ajuda ne?

creio que eu possa conseguir a solucao com 1/3 do investimento feito com a dell

por enquanto eh isto

falamos mais em breve

abraco!