ARC -- это основной кеш, используемый и для чтения и отчасти для записи (в пределах одной группы транзакций (до 30 секунд)). Чем ARC больше -- тем практически всегда лучше.
L2ARC -- это кеш второго уровня только для чтения. Данные в него попадают только из ARC и в ARC же чинаются обратно, потому при малом объеме ARC он поможет слабо. Плюс L2ARC потребляет часть оперативной памяти в несколько процентов от своего объема, а потому установка скажем терабайтного SSD в роли L2ARC в сервер с 8GB памяти идея достаточно плохая. В общем общий принцип такой: ставиш в сервер так много оперативной памяти для ARC как только можно, а если все равно мало -- пробуеш L2ARC.
Эффективность обоих кешей отображается в разделе Reporting->ZFS.