Armado de Server - FreeNas para virtualizacion proxmox

[rickygm]

Hola foro gusto en saludarles a todos , les comento lo que estoy buscando , en la empresa casi no tengo presupuesto pues todo lo que uso es OpenSource , y ahorita me han dado unos $1500.00 para armar un FreeNas para mis VM , estoy pensando en correr unos 16 TB en una FreeNas , entre los cuales quiero unos 2TB para las maquinas virtuales (ISCSI) en discos de 10000 rpm western digital, y unos 14TB para backup de mis VM y archivos de los usuarios con owncloud .

### Hardware pensado ###

he leido alguna documentación de FreeNas y recomiendan esta controladora IBM Serveraid M1015 SAS/SATA de las cuales quiero comprar dos, una conectada con cinco HD de 4 tb WD Red 4TB NAS en raid 10 y la otra conectada con 6 WD VelociRaptor 500 GB en raid 10

motherboard SUPERMICRO MBD-X9SCM-F-O y Intel Xeon Quad-Core Processor E3-1230 v2 con 32 GB ram ECC , un par de SanDisk Cruzer Fit CZ33 de 16gb c/u .

como lo ven ustedes , se puede hacer lo que estoy pensando?

que agregaran/quitarian ustedes en base a su experiencia?

que case estilo RACK me recomiendan para esto?

saluds

 

[Gonzalo]

Hola,

¿Hay algún motivo por el cual no vayas a comprar hardware de última generación? ¿Por qué no comprar la versión X11 de Supermicro y la versión 5 de Xeon?
Sobre la controladora, si, es la más usada, pero por qué comprar dos? Yo usaría una + los puertos SATA que trae la motherboard. Respecto a los discos de 10000 RPM, el "cuello de botella" de tu sistema nunca va a estar ahí. Además... según el sitio de WD, el único modelo que soporta esa velocidad es el WD VelociRaptor y se venden de hasta 1TB... y no sólo es mucho más caro, sino que gasta más y el beneficio de esa velocidad es imperceptible. El case es a gusto del consumidor... Supermicro y Norco tienen buenos modelos.

Saludos!

 

[rickygm]

Hola,

¿Hay algún motivo por el cual no vayas a comprar hardware de última generación? ¿Por qué no comprar la versión X11 de Supermicro y la versión 5 de Xeon?

cual exactamente?

Sobre la controladora, si, es la más usada, pero por qué comprar dos? Yo usaría una + los puertos SATA que trae la motherboard.
si había pensando eso , lo que haría es hacer un RAID con la IBM para los discos rápidos y otro raid a nivel de software con los SATA integrados , debería de poderse hacer

Respecto a los discos de 10000 RPM, el "cuello de botella" de tu sistema nunca va a estar ahí. Además... según el sitio de WD, el único modelo que soporta esa velocidad es el WD VelociRaptor y se venden de hasta 1TB... y no sólo es mucho más caro, sino que gasta más y el beneficio de esa velocidad es imperceptible.

recuerda que la virtualizacion es demandante en hardware y quiero eliminar futuros cuellos de botella.

El case es a gusto del consumidor... Supermicro y Norco tienen buenos modelos.

ok los vere ..

 

[Gonzalo]

cual exactamente?

Bueno, aquí también depende de las prestaciones que quieras, pero por ejemplo puede ser una motherboard X11SSL (en este post puedes ver las diferencias entre los nuevos modelos) con un procesador Xeon E3-1270 v5.

recuerda que la virtualizacion es demandante en hardware y quiero eliminar futuros cuellos de botella.

Te aseguro que los RPMs no van a ser un problema.

 

[rickygm]

Bueno, aquí también depende de las prestaciones que quieras, pero por ejemplo puede ser una motherboard X11SSL con un procesador Xeon E3-1270 v5.

Te aseguro que los RPMs no van a ser un problema.

Gonzalo gracias x tu apoyo en lo que es este post , pero me quepa una intriga donde crees pueda tener el problema?

ahora puedo hacer un raid por software para los discos lentos con el frenas y el otro raid con la tarjeta madre IBM , corrígeme si me equivoco!

 

[Gonzalo]

Gonzalo gracias x tu apoyo en lo que es este post , pero me quepa una intriga donde crees pueda tener el problema?

Los problemas pueden suceder por varios motivos, incluso ajenos al servidor en si (configuración de la red, router, cableado, etc.), pero te dejo algunas cosas más que deberías considerar: compra una buena fuente, no escatimes en esto (puedes leer más aquí). Si te sobran puertos SATA (y dinero), en lugar de dos USB, puedes utilizar un disco SSD o dos. Sobre la memoria RAM, puedes leer más aquí para entender que te conviene comprar.

ahora puedo hacer un raid por software para los discos lentos con el frenas y el otro raid con la tarjeta madre IBM , corrígeme si me equivoco!

En FreeNAS, siempre haces raid por software. De hecho, vas a tener que flashear esa tarjeta para que funcione sin problemas con FreeNAS.

Saludos!

 

[rickygm]

Los problemas pueden suceder por varios motivos, incluso ajenos al servidor en si (configuración de la red, router, cableado, etc.), pero te dejo algunas cosas más que deberías considerar: compra una buena fuente, no escatimes en esto (puedes leer más aquí). Si te sobran puertos SATA (y dinero), en lugar de dos USB, puedes utilizar un disco SSD o dos. Sobre la memoria RAM, puedes leer más aquí para entender que te conviene comprar.

En FreeNAS, siempre haces raid por software. De hecho, vas a tener que flashear esa tarjeta para que funcione sin problemas con FreeNAS.

Saludos!

Gonzalo gracias x tu respuesta , estaba viendo la posibilidad de agregar un SSD en los disco RED de WD , creo que puedo ganar un poco mas de IOPS , que opinas?

 

[Gonzalo]

Gonzalo gracias x tu respuesta , estaba viendo la posibilidad de agregar un SSD en los disco RED de WD , creo que puedo ganar un poco mas de IOPS , que opinas?

¿Te refieres a agregar un SSD como L2ARC? Si es así, no debes considerarlo a menos que tengas 64GB de RAM (o más).

 

[rickygm]

¿Te refieres a agregar un SSD como L2ARC? Si es así, no debes considerarlo a menos que tengas 64GB de RAM o más.

Umm ya se hace impagable los 64gb ram.

 

[rickygm]

Gonzalo gracias x tu respuesta , estaba viendo la posibilidad de agregar un SSD en los disco RED de WD , creo que puedo ganar un poco mas de IOPS , que opinas?

Gonzalo , se me sale el presupuesto de los $1500 con ese hardware.

como podría mantenerme en los USD $ 1500 , sin perder los discos de 10000 rpm , la controladora y los 16TB

a ver si me das una ayuda con el hardware.

 

[Gonzalo]

Llegar a ese precio depende de donde estés comprando el hardware. El tema es que solo de discos (y considerando que compraras 8 x WD Red de 4TB) tienes 1200 dólares a precio actual de USA. Te recomiendo leer el post de hardware recomendado.

Para lo quieres hacer, una configuración óptima sería:

Motherboard: Supermicro X10SL7-F (donde ya no necesitas la controladora IBM).
Procesador: Xeon E3-1230V3.
Memoria: 32GB de RAM.
Discos: 8 x WD Red de 4TB.

Y te aseguro que con eso te pasas del presupuesto.

Puedes bajar el modelo de la motherboard pero necesitarías la controladora y ahí gastarías más o menos lo mismo. Yo bajaría en los discos que es lo más caro y es algo que luego puedes escalar.

Saludos!

 

[rickygm]

Llegar a ese precio depende de donde estés comprando el hardware. El tema es que solo de discos (y considerando que compraras 8 x WD Red de 4TB) tienes 1200 dólares a precio actual de USA. Te recomiendo leer el post de hardware recomendado.

Para lo quieres hacer, una configuración óptima sería:

Motherboard: Supermicro X10SL7-F (donde ya no necesitas la controladora IBM).
Procesador: Xeon E3-1230V3.
Memoria: 32GB de RAM.
Discos: 8 x WD Red de 4TB.

Y te aseguro que con eso te pasas del presupuesto.

Puedes bajar el modelo de la motherboard pero necesitarías la controladora y ahí gastarías más o menos lo mismo. Yo bajaría en los discos que es lo más caro y es algo que luego puedes escalar.

Saludos!

voy a hablar con el jefe , a ver si puedo conseguir unos $500 mas , esa mobo trae integrada una LSI 2308 , lo que no se es si trae cache?

en los discos creo que ahorro algo mas http://www.amazon.com/gp/product/B016QO86V8/?tag=ozlp-20

http://www.amazon.com/gp/product/B007VPGK42/?tag=ozlp-20


como ven este case?

http://www.amazon.com/gp/product/B0091IZ1ZG/?tag=ozlp-20

 

[Gonzalo]

No sé a que te refieres con que "no trae cache" pero esa motherboard es de lo mejor que puedes comprar. Te dejo este post donde se habla del flasheo necesario para usar la controladora que trae onboard. Sobre los discos, yo seguiría yendo por los WD Red, pero está bien si es lo que quieres hacer. Ese case me parece perfecto.

 

[rickygm]

No sé a que te refieres con que "no trae cache" pero esa motherboard es de lo mejor que puedes comprar. Te dejo este post donde se habla del flasheo necesario para usar la controladora que trae onboard. Sobre los discos, yo seguiría yendo por los WD Red, pero está bien si es lo que quieres hacer. Ese case me parece perfecto.

Felices Fiestas a todos , gonzalo conseguí los USD $ 500.00 , y compre los RED de western D 2x4TB , y agregue 4 de 600
WD VelociRaptor con 32MB de cache , después voy a escalar la verdad los discos son caros .

aqui mi duda , buscando info no encuentro en la doc de FreeNas , pero es posible hacer dos arreglos para diferenciar los discos lentos y los rápidos , algo así como tener dos pool ?

o solo un arrego y ahi meto todos los discos , lentos y rápidos?

 

[Gonzalo]

¡Feliz Navidad!

Si, puedes tener dos pools (o varios). También puedes tener varios VDevs dentro de un mismo pool (pero de esta forma, si un sólo VDev falla pierdes TODA la información del pool). Te recomiendo leer la guía de Cyberjock.

Saludos!

 

[rickygm]

¡Feliz Navidad!

Si, puedes tener dos pools (o varios). También puedes tener varios VDevs dentro de un mismo pool (pero de esta forma, si un sólo VDev falla pierdes TODA la información del pool). Te recomiendo leer la guía de Cyberjock.

Saludos!

Ok , si ya había leído un poco y estoy despejando mis dudas , puedo tener dos zpool y diferenciar los lentos y rápidos , voy a anadir la opción de discos spare para evitar la perdida de datos .

otra duda que me viene , la motherboard que me recomendaste trae la opción de hacer el arreglo x hardware , aunque con el FreeNas lo que hacemos es hacer el arreglo por software , ya sea un raidz o raidz2 .

como harías la configuración considerando que tu manejas el hardware que tendré?

va saludos desde nicaragua.

 

[Gonzalo]

Hola,

Como te mencionaba en un post anterior, tienes que flashear la motherboard para poder utilizar la controladora que trae onboard.
Yo haría dos pools, uno con los WD Red en Mirror y otro con los WD VelociRaptor en Striped Mirrors (2 VDevs). De esta forma, obtienes 4TB y 1.2TB usables respectivamente y la mejor performance.

Saludos!

 

[rickygm]

Hola,

Como te mencionaba en un post anterior, tienes que flashear la motherboard para poder utilizar la controladora que trae onboard.
Yo haría dos pools, uno con los WD Red en Mirror y otro con los WD VelociRaptor en Striped Mirrors (2 VDevs). De esta forma, obtienes 4TB y 1.2TB usables respectivamente y la mejor performance.

Saludos!

Gonzalo gracias , lo tendré en cuenta cuando tenga las partes.

si esto va bien mi jefe me autorizara otra solo para discos de 10K en el 2016

 

[rickygm]

Hola,

Como te mencionaba en un post anterior, tienes que flashear la motherboard para poder utilizar la controladora que trae onboard.
Yo haría dos pools, uno con los WD Red en Mirror y otro con los WD VelociRaptor en Striped Mirrors (2 VDevs). De esta forma, obtienes 4TB y 1.2TB usables respectivamente y la mejor performance.

Saludos!

Hola , nuevamente x aqui , estoy un poco confundido con el flasheo de esta mobo , he leido esta guía https://forums.freenas.org/index.ph...-with-lsi-2308-9-3-os-firmware-warning.27377/ y algunos recomiendan usar la version de 16 del firmware y otros la 20 , mi duda aquí cual uso?

yo actualmente tenga esta version
Num Ctlr FW Ver NVDATA x86-BIOS PCI Addr

----------------------------------------------------------------------------
0 SAS2308_1(D1) 15.00.00.00 0f.00.00.12 07.29.00.00 00:02:00:00

y el freeness en el gui me da esta alerta Firmware version 15 does not match driver version 20 for /dev/mps0. Please flash controller to P20 IT firmware.

ahora para flashear la moto es necesario tener desconectado todos los HD?

sldss

 

[rickygm]

también le he dado una leída a esta guía y me parece un poco mas fácil

http://blog.widodh.nl/2014/10/flash-lsi-2308-to-it-mode-on-a-supermicro-x10sl7-f-mainboard/