Storage 48TB, quais melhorias posso fazer

[maurobranquinho]

Senhores.
Tenho um cliente rodando freenas com 8 discos de 6TB, onde basicamente roda edição de arquivos de video diretamente no servidor. Atualmente ele está com 32GB de ram (precisa urgentemente de upgrade pois está estourando a ram) pensei em fazer um cache de leitura com SSD NVME, o que acredito que dará uma ajuda. o grande problema está sendo os backups, pois não sei se colocamos em fita ou aumenta os discos e faz um RAID. Alguém teria algum cenário pareciso que possa me dar opiniões?
Agradeço desde já!!

 

[Ericloewe]

precisa urgentemente de upgrade pois está estourando a ram

A RAM está quase cheia? Isso é normal, RAM vazia é RAM desperdiçada.

pensei em fazer um cache de leitura com SSD NVME, o que acredito que dará uma ajuda

Com só 32 GB de RAM é duvidoso.

Alguém teria algum cenário pareciso que possa me dar opiniões?

Isto está muito leve em números. Tamanho dos ficheiros, velocidades desejadas, espaço necessário, ...

 

[maurobranquinho]

Então Eric, esta storage guarda arquivos de vídeo com 300GB cada aproximadamente. O pessoal edita os vídeos diretamente na storage.
Hoje ela está com quase 80% utilizado. Não reclamações de lentidão porém nos gráficos aparece uma utilização de quase 100% da RAM, não sei quando pode ser um gargalo, pensei em colocar mais RAM e junto com um cache de leitura e gravação. As vezes temos 10 usuários editando os arquivos, outras horas são apenas 3.
Hoje os discos estão em RAID 0, o que dá muita velocidade porém sem segurança, para isto penso em implementar uma unidade de fita para fazer o backup diário dos dados ou então um RAID 10 como redundância.
Pergunte mais o que preciso te especificar.

 

[Ericloewe]

gráficos aparece uma utilização de quase 100% da RAM

Isso não quer dizer muito e será sobretudo ARC (read cache do ZFS).

Hoje os discos estão em RAID 0

Ui.

para isto penso em implementar uma unidade de fita para fazer o backup diário dos dados ou então um RAID 10 como redundância.

Os dois, basicamente. Isso precisa de mirrors para ter uma fiabilidade razoável, e os backups são sempre essenciais. Tenho dúvidas que valha a pena fazer backups para fita em vez de discos, mas isso é outra discussão.

Não reclamações de lentidão porém nos gráficos

Então não é preciso fazer grande coisa. Só adicionar os mirrors ao discos existentes.

 

[maurobranquinho]

Eric, quando você sugere fazer cache de leitura e/ou gravação?

 

[Ericloewe]

SLOG só faz sentido quando há sync writes.

L2ARC é mais complicado, mas geralmente começa a ser interessante a partir dos 64 GB de RAM.

 

[maurobranquinho]

Eric, poderia me dar uma explicação de como funciona a alocação de memória no freenas, ou então, o porque ele aparece nos gráficos como memória "cheia" porém não significa consumo total e como posso identificar que preciso adicionar mais memória no servidor?
Obrigado pelas explicações!

 

[Ericloewe]

O gráfico da memória é enganador, porque a ARC está incluída na rubrica "wired", do kernel. No entanto, o FreeNAS mostra gráficos do ZFS no tab "ZFS" da secção "Reporting". Um deles é o "ARC Size", que é obviamente o tamanho da mesma. E é aí que a memória "vazia" é aproveitada, para agilizar as operações do sistema de ficheiros.

A melhor maneira de ver se seria benéfico ter mais ARC (ou seja, mais RAM) ou adicionar L2ARC é com o script arc_summary.py. Na secção CACHE HITS BY CACHE LIST: temos o seguinte (os meus dados vêm de ume servidor muito pouco utilizado, portanto metem alguma pena):

Code:

 CACHE HITS BY CACHE LIST:
		  Anonymously Used:			 0.33%   3.15m
		  Most Recently Used:		   0.28%   2.67m
		  Most Frequently Used:		 99.18%  962.35m
		  Most Recently Used Ghost:	 0.03%   297.98k
		  Most Frequently Used Ghost:   0.19%   1.84m

Os dois ghost lists são listas de coisas recentemente removidas da ARC (porque se determinou que haveria coisas melhores para lá meter). Ou seja, se esses dois valores forem elevados, seria benéfico adicionar ARC e/ou L2ARC ou sistema.

Convém referir que a L2ARC consome ARC para manter as referências dos dados que estão na L2ARC, portanto mais L2ARC não é necessariamente melhor e pode até piorar as coisas.