FreeNAS em Dell R620: Problema com placa de rede

Status
Not open for further replies.

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Caríssimos,

estou tendo problemas com a placa de rede do Servidor Dell R620. A placa é uma (quad port) Broadcom BCM57800.
Ela é listada no menu de boot (bxe0, bxe1, bxe2 e bxe3), no entanto, o FreeNAS fica echoando mensagem de placa de rede desligada (bxeN network is down). Mesmo com cabo conectado e os leds acesos.

Tentei adicionar esta
http://mlb-s2-p.mlstatic.com/placa-...130-cod6058-10943-MLB20036188727_012014-O.jpg
mas o servidor não ligou.

Alguém tem alguma ideia do que poderia ser?
Uma indicação de placa PCI-Express de baixo perfil para servidor de 1U também é benvinda.

Desde já, agradeço.
 
Last edited:

Ericloewe

Server Wrangler
Moderator
Joined
Feb 15, 2014
Messages
20,194
Essa outra parece extremamente duvidosa.

Qualquer placa GbE da Intel funciona bem. As mais populares são estas, mas também há por aí umas com o controllador i210, mais recente (e as placas são mais curtas, também).
 
Joined
Mar 2, 2015
Messages
22
Inácio:

A primeira sugestão é, atualize o sistema.

Eu tenho a impressão de ter visto isso em um T610 que eu estou configurando, mas, no meio das aventuras, já re-instalei o sistema, e não tenho mais as mensagens.

Se voltar, eu reporto aqui. Mas, atualize o sistema de qualquer jeito.
 

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Olá Carlos,
obrigado pela resposta.

A instalação é nova, realizei ela na semana passada. De todo modo, na segunda quando eu tiver acesso ao servidor tentarei novamente (vou baixar a iso e reinstalar o servidor).
Recebi uma sugestão no fórum em Inglês para tentar a versão de teste (10.0). Se a reinstalação da versão 9.3 não funcionar irei testar a 10.
Creio que seja mesmo problemas com a placa, pois tivemos problemas semelhantes com o PFsense (ele nem reconheceu a placa).
 
Joined
Mar 2, 2015
Messages
22
Inacio:

Na verdade a idéia é atualizar a versão 9.3 que você já tem, para 9.3-current, ao invés da 9.3-release.

Aplicando a atualização do sistema, tem uma pequena chance de haver também uma atualização dos drivers.

Na mesma linha, porque não tentar uma instalação similar do FreeBSD. Or drivers devem ser os mesmos, e pode te dar uma outra linha de comparação.

[]s

Carlos
 

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Olá Carlos,

estou baixando a versão STABLE (http://download.freenas.org/9.3/STABLE/201503071634/x64/) para instalar amanhã.
Como disse acima, se não funcionar, tentarei a .
Por outro lado, vi no link
http://www.freenas.org/whats-new/20...-design-part-iv-network-notes-conclusion.html
a seguinte sugestão: Stay away from Broadcom and Realtek interfaces if and when possible.

De todo modo, ainda estou em fase de testes. Logo isto não será um problema. Espero que a placa atual seja ativada.

Já entrei em contato com o Coordenador da TI para solicitar uma placa Intel. Agora a ideia é configurar o cenário abaixo:
infra.jpeg
onde:
  1. O FreeNAS será usado para:
    1. Os diretórios home dos usuários (inicialmente, estou pensando em um DataSet por usuário)
    2. O diretório home também será usado com o recurso FolderRedirection do Windows
    3. SR (Storage Resource) para o XenServer.
  2. O Samba deve ser minha base única de usuários (consegui por o FreeNAS e os clientes no Samba, mas estou com problemas para montar o compartilhamento remoto no Linux via NFS e ainda nem iniciei os testes com Windows)
 
Joined
Mar 2, 2015
Messages
22
Inacio:

Eu honestamente nunca tive problemas com as placas Broadcom "velhinhas". todas sempre funcionaram com Linux ou FreeNAS, sem muita encrenca.

Recentemente, colocando meus dois T610 para funcionar com 9.3, tive algumas dúvidas para acrescentar as variáveis de jumbo frame em um LAGG. Tive que acabar retirando o parâmetro default UP, e deixando só o MTU 9000.

Seu projeto é muito bom, fiquei entusiasmado . Questiono a validade de um dataset por usuário, especialmente se for um número alto de usuários.

Se você potencialmente viver muitos usuários, e muitos que usem arquivos idênticos (musicas, filmes, etc, tipicamente só para leitura) eu aconselharia a deduplicação, SE você tiver bastante memória. E, compressão gzip alta, sem dúvida, especialmente se performance não for um problema para acesso dos arquivos de usuário. Eu iria para nível 8 facilmente, mesmo porque depois você pode configurar uma compressão menos agressiva, que ficará válida para novos arquivos.

Com relação ao Xen, não conheço bem, mas assumo que você irá guardar as imagens dos servidores virtualizados nele. Eu faço o mesmo aqui, em um PE2900 "anabolizado", com compressão lz4 default, e o resultado é bom para VMs de média performance. Mas, isso em VMWare. Esclarecento:


Storage PE2900, 22 GB RAM, dual disk controller, RAIDZ2.

O host VMWare é um R710 com 96 GB de RAM, diskless.

Ambos rodando com 10 GB direct attach. Placas Intel.

Recebi hoje três Brocades BR-1020 (outro nome da Broacom, que hoje é de propriedade da Qlogic) e vou começar os testes em breve, com fibra.

Existe uma lenda por aí afora que essas placas só aceitam módulos SFP+ da própria broadcom/brocade, mas no manual nada consta. O manual apenas diz que eles não aconselham, e que não é suportado.

Por outro lado, li artigos onde placas de rede nào reportam link ativo quando se mistura o adaptador SFP+ de um fabricante com a placa de outro.

Comprei barato no eBay, fazendo fé na compatibilidade SFP+ Vamos ver se a sorte me favorece agora.

A propósito, sobre seu problema: você fez atualização do firmware desse servidor com o SUU ? Isso pode fazer uma diferença monumental.

Carlos
 

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Inacio:

Eu honestamente nunca tive problemas com as placas Broadcom "velhinhas". todas sempre funcionaram com Linux ou FreeNAS, sem muita encrenca.
Pois é Carlos,

primeiramente peço desculpas pela resposta longa.

Ao que parece esta não é uma placa tão antiga e só vi suporte declarado no FreeBSD 10. Vou baixar agora uma versão Current do FreeNAS para ver se consigo fazer funcionar.

Seu projeto é muito bom, fiquei entusiasmado . Questiono a validade de um dataset por usuário, especialmente se for um número alto de usuários.
É recomendação das várias palestras que assisti no Youtube. Como o gerenciamento (via CLI) é muito fácil, vale a pena. De todo modo, não é difícil escrever um script que receba um arquivo com os logins dos usuários novos e crie um DataSet para cada um deles, assim como é simples fazer um script para destruir DataSet de usuários desativados. Só preciso me acostumar a escrever scripts para o shell do FreeNAS, pois até hoje só brinquei com scripts em bash para Linux.
Ademais, este é um projeto conceitual e deve demorar alguns semestres para ser implementado, testado, reimplementado várias vazes até ser posto em produção (se é que vai ser posto em produção, pois trabalhar sozinho é difícil). Por fim, é possível criar DataSet dentro de outro e fornecer uma quota maior no DataSet mais interno. Isso soa bem estranho, mas vamos a um exemplo:
Você entrega um DataSet a um aluno com quota de 2 ou 5G (lembre-se que são dois ou quatro anos de curso para guardar materiais de aula). No entanto, em determinado semestre um aluno da disciplina de redes precisará utilizar algumas VMs. A infra
infra.jpeg
sendo firewall, samba, dhcp, cliente1 e cliente2 máquinas virtuais no VirtualBox. Esta metodologia deve continuar a ser usada. Neste semestre, os alunos da disciplina precisarão de mais espaço em disco. Você pode criar um DataSet (chamado, por exemplo VboxVMs) em /home/alunos/fulano/VboxVMs e oferecer uma quota de 30G. O bacana é o seguinte. Se o aluno adicionar um arquivo no home dele, a quota é subtraída do home e do VboxVMs. Se o arquivo for adicionado no VboxVMs, apenas este sofre com redução. Por fim, como esse DataSet pode ser criado a partir de um clone, basta ter um DataSet com a infra de todas as VMs já prontas. Bem complicado, eu sei, mas na minha cabeça está tudo muito claro :D.

Atualização (11/03/15 as 17:59):
O FreeNAS não herdou esta característica estranha (muito embora interessante para minhas necessidades) do FreeBSD. No entanto, isto não inviabiliza o projeto, pois é possível adicionar uma aba que permita a mudança automática nos DataSets dos usuários.

Nova atualização (12/03/15 as 13:40):
Na verdade, basta não setar o item '
Cota para esse dataset e todos sub-diretorios:' que o DataSet filho poderá possuir tamanho maior que o DataSet pai.

Se você potencialmente viver muitos usuários, e muitos que usem arquivos idênticos (musicas, filmes, etc, tipicamente só para leitura) eu aconselharia a deduplicação, SE você tiver bastante memória. E, compressão gzip alta, sem dúvida, especialmente se performance não for um problema para acesso dos arquivos de usuário. Eu iria para nível 8 facilmente, mesmo porque depois você pode configurar uma compressão menos agressiva, que ficará válida para novos arquivos.
Ainda não conheço bem o recurso de deduplicação, não sei quais impactos e benefícios o mesmo traz. De todo modo, é relativamente tranquilo criar novos DataSets com o recurso habilitado e migrar os dados dos DataSets antigos. Novamente, nada que um script não resolva :)

Com relação ao Xen, não conheço bem, mas assumo que você irá guardar as imagens dos servidores virtualizados nele. Eu faço o mesmo aqui, em um PE2900 "anabolizado", com compressão lz4 default, e o resultado é bom para VMs de média performance. Mas, isso em VMWare. Esclarecento:
Storage PE2900, 22 GB RAM, dual disk controller, RAIDZ2.
O host VMWare é um R710 com 96 GB de RAM, diskless.
Ambos rodando com 10 GB direct attach. Placas Intel.
O XenServer pode ser usado em uma máquina que detém os SRs (Storage Resources) ou você pode utilizar SR montado via NFS ou ainda via iSCSI (dois protocolos entendidos pelo FreeNAS) sendo este último o mais recomendado. A vantagem é facilitar a migração de VMs entre servidores físicos diferentes. Se os discos das VMs estão em um storage, o XenServer apenas migra os metadados da VM para outro servidor que esteja no pool de servidores. Acredito que seja a mesma metodologia usada pelo VMWare ESXi (que não pretendo usar aqui devido a problemas de licenças, é difícil comprar licenças para órgãos públicos, principalmente se você tem outras prioridades). As VMs serão bem poucas e a maioria será de médio, ou mesmo baixo, desempenho.

A propósito, sobre seu problema: você fez atualização do firmware desse servidor com o SUU ? Isso pode fazer uma diferença monumental.
Não, se você puder me indicar como fazer isto eu agradeço.
 
Last edited:

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Acabei de instalar a versão Current e nada :(:(

Atualizado (16:30)
A placa não é. Inicializei o Ubuntu via USB e recebi IP.
O SUU é gigante (8GB), vou deixar baixando a noite e tentarei atualizar os drivers amanhã.
 
Last edited:

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Coisas estranhas ocorrem no mundo livre.

Como citado acima, instalei o Ubuntu na máquina para tentar atualizar os firmwares (não consegui atualizar :(, mas a placa de rede estava funcionando normalmente :D:)).
Então instalei a versão 9.3-current na máquina e continuei sem conseguir usar a placa de rede.

Decidi instalar o FreeNAS em outro servidor (mesmo modelo, pois recebemos três deles) e, para minha surpresa, as placas de rede funcionaram normalmente. :eek:
Como nem tudo são flores, o FreeNAS não reconheceu discos inseridos em tempo de execução :( (tirei os discos do primeiro servidor para adicionar no segundo). Os discos foram reconhecidos depois que o servidor foi reiniciado.


Agora é dar prosseguimento ao projeto.
Possivelmente, a primeira coisa vai ser tentar usar iSCSI para conectar o XenServer (que devo instalar amanhã ou depois)
 
Last edited:
Joined
Mar 2, 2015
Messages
22
Inácio, primeiramente, minhas desculpas. Faz algum tempo que te devo uma resposta.

Os últimos dias foram agitados demais e acabei por não poder desenvolver a resposta que eu queria.

Sobre a atualização de firmware, enfim a Dell criou vergonha na cara e desenvolveu uma ferramenta baseada em Linux para manutenção geral, que inclui a atualização de firmware.

A ferramenta é chamada "Support Live Image", referência abaixo.

http://www.dell.com/support/content...ce-center/Enterprise-Tools/support-live-image

É um CentOS com alguns aplicativos da Dell instalados, que vem preparado para poder executar o tal SUU que eu havia mencionado. o SUU pode ser executado em Linux ou Windows, mas até poucos meses atrás, era difícil configurar qualquer linux com todos os pré-requisitos, devido a documentação muito pobre.

Enfim esse "Live Image" promete fazer isso, mas tem um "porém". Você precisa também baixar a imagem ISO do SUU inteira, que são 10 GB.

Eles dizem para salvar a imagem em um drive USB ou equivalente, mas eu deixo na rede, mapeio o servidor NFS depois do boot do "Live Image" e executo o suu.

Em servidores antigos como PE2900, a atualização dura 15 ou 20 minutos. Em mais novos como o T610, poder levar uma hora.

Toda esta minha "experiência aqui NÃO é com o "Live image" da Dell; Há uns dois anos atrás eu desenvolvi meu próprio Live Image baseado no CentOS 6.3, e usei muito bem até alguns dias atrás, quando infelizmente o drive USB morreu, e meu backup não funcionou :(

Enfim, recomendo a atualização que, eu mesmo, devo testar na próxima terça feira.

Tenho uma versão mais antiga do SUU, mas a mais nova é de fevereiro se não me engano.

A vantagem de aplicar o SUU é que ele aplica todo o firmware na ordem certa. Se aplicamos na ordem "errada", acabamos tendo que reiniciar o servidor várias vezes.

Agora, você não é o único a padecer no paraíso do software livre.. Descobri que gerações diferentes dos meus T610s apresentam também um inexplicável comportamento diferente, mesmo com a mesma versão de firmware. É um bug do FreeBSD 9.3 ou 9.4, herdado pelo FreeNAS.

Linux e FreeBSD 10 não apresentam o problema... Simples assim.

Posto a continuação na quarta.

[]s
 

Inacio Alves

Dabbler
Joined
Mar 5, 2015
Messages
14
Valeu pelas dicas Carlos.

Irei ver isto em breve, estou atarefado com aulas a preparar e provas para corrigir/estudar. Possivelmente só depois do dia 30 que vou voltar a trabalhar na máquina.
 
Joined
Mar 2, 2015
Messages
22
Inácio, salve...

Tive o prazer de começar a trabalhar com o "Support Live Image" hoje e fiquei positivamente surpreso.

Baixei o arquivo ISO e, desobedecendo as "leis da Dell", instalei a imagem em um pendrive usando meu Mac OS X, com o comando:

dd if=/caminho/da/imagem.iso of=/dev/rdisk1 bs=64k

NOTA: existem alguns passos ANTES de se poder usar o comando dd em um MAC OS X. Se alguém precisar, pergunte. Não postei por ser um pouco off topic.

Obviamente o mesmo comando funciona em *nix. Não é necessária a plataforma Windows propagandeada pela Dell.

Com seu pendrive devidamente preparado, simplesmente faça o boot da máquina pressionando o F11, e selecionando o drive USB adequado.

O menu de boot oferece várias opções de inicialização em DOS, mas uma única em Lunix (default). O sistema é um CentOS versão 7 de 64 bits com várias aplicações Dell, dentre elas DSET, Open Manage (node), etc. Devo admitir, muito útil. Todo SysAdmin de m;aquinas Dell deveria ter esse aplicativo. 2 GB, e muito versátil.

Agora vem a parte interessante para quem quer atualizar o firmware de servidores:

Na minha realidade aqui, eu salvei a imagem ISO do SUU (10 GB) em um servidor com NFS. Neste caso o nome do arquivo é SUU_14.12.200.69.ISO

No CentOS da Dell, abri um console e executei:

su
(a senha de root é dell)

mkdir /mnt/nfs
mkdir /mnt/suu

mount 192.168.0.100:/nfs_share /mnt/nfs
mount -o loop /mnt/nfs/SUU_14.12.200.69.ISO /mnt/suu

cd /mnt/suu
./suu -g

O lado chato desse Live System é que ele não tem uma partição permanente nativa, e por conta disso não mantém o histórico dos comandos. Se precisar usar os comandos em outra máquina, vai ter que digitar de novo.

Bem, em seguida o aplicativo SUU da Dell é iniciado, reclama de que o disco tem mais de 120 dias (clicar em OK e continuar).

A partir daqui é procedimento normal. O aplicativo verifica qual é o ser hardware e compara a versão de firmware instalado, versus o firmware disponível na imagem ISO.

Alguns minutos depois o software mostra quais são os equipamentos com firmware disponível para atualização; Você pode deixar todos selecionados (é o default e o recomendado), ou selecionar apenas alguns.

O aplicativo pode inclusive atualizar o firmware de discos.

Clique em OK para continuar. No meio do processo algumas janelas pop-up do CentOS vão aparecer, pedindo para você escolher como abrir determinados arquivos. Ignore essas janelas. Elas fazem parte do processo de abertura de arquivos de atualização do próprio SUU, e acabam desaparecendo sozinhas.

A atualização completa pode demorar.

Via de regra, após uma atualização, o aplicativo pede que se reinicie a máquina. Eu normalmente fecho o programa, fecho o console, e reinicio pela interface gráfica, esperando até que o logo da Dell apareça, antes de remover o drive USB.

Nota: a interface gráfica não oferece imediatamente a opção "reiniciar", mas sim desligar. QUANDO se clica em desligar é que a opção reiniciar aparece. NÃO DESLIGUE o servidor, senão parte das atualizações não é aplicada. É necessário REINICIAR o servidor.

NOTA 2: caros amigos e colegas... o comando dd é perigoso e pode causar perda irreversível de dados. Tenha certeza de que você sabe o que está fazendo.

Happy hacking !
 
Status
Not open for further replies.
Top