Решил себе дома построить сетевой накопитель. Делюсь "опытом", авось кому пригодится.
Во-первых, нужно решить с каким программное обеспечением будете работать, потому что это определит значительную часть аппаратных требований.
Меня интересует ZFS. Кроме того, я не хотел бы не заново изобретать колесо что предопределяет операционные системы FreeBSD , OpenSolaris или внедренее ZFS в Linux.
Зная что у некоторых из операций ZFS (как дедупликации , например) , есть конкретные требования по обьему оперативной памяти (сам использовал как исходные: 2Г ОЗУ на 1 Тб на винчестерах) , и мы можем начать.
Дома уже есть сетевой накопитель - QNAP SS- 839 (устройство размером тостер, но с 8 х 2,5 " отсека для жестких дисков ) С 8 х 500 Гб жестких дисков , этот накопитель жует 45 Вт от стенки, и, заодно, тих - необходимое условие для устройства гнездящегося в моем жилом пространстве. Но на нем, к сожалению, заканчивается свободное место. В принципе, обновление возможно, но если купить большие жесткие диски (сейчас уже 1TB жесткие диски можно купить за разумную цену) и просто модернизировать, то что делать с 8 х 500G жестких дисков в рабочем состоянии? Показалось расточительно просто оставить их в стопке на столе, а перепродать их не имеет смысла. И вот, Я строю NAS ! Ура?
Требования , собственно (физические / аппаратные / программное обеспечение перемешаны):
1) Тихий. Полностью или около того.
2) Стабильный .
3) ZFS
4) Программное обеспечение которое уже поддерживается кем-то и как-то, ибо не охота самому все воять.
5) 8 х 2,5 отсека для жестких дисков минимум. Предпочтительна возможность менять диски без выключения всего устройства.
6) Энергоэффективный . Это поможет с тихой стороно вещей , а также дешевле в смысле платы за электричество, да и легче охлаждать летом.
7) ECC RAM, так как перевернутые биты нах не нужны
Без аппаратурной поддержки RAID. ZFS само справится.9) Занимает наименьшее места на столе/под столом/где-то там еще.
В списке , "не дорогой" отсутствует. Понимал что в конечном итоге платить немного больше, чем если бы купил готовое.
Собственно оборудование:
Материнская плата: высокая энергоэффективность, легко охлаждаемая, но с ECC RAM ? Не то чтобы много было кандидатов. Остановился на SuperMicro A1SAi - 2750F. Atom CPU . 8 ядер . (Да. 8 ! ) 4 сетевых интерфейса на борту . ECC RAM поддерживает, равно как и IPMI по локальной сети (бонус, но очень пригодившийся попозже). Mini-ITX размер. Потребляет 20Вт энергии. Минус? Цена. $364 является лучшей найденой ценой в январе 2014 .
Жесткие диски : На протяжении всей моей ИТ / компьютерный жизни, был большим поклонником жестких дисков компании Hitachi. Большую часть времени , без конкретных доказательств на это мнение - просто анекдотический данные , что они работают. Правда недавно вышло исследование это подтверждающее. Так что, 8 х 1TB 7200 RPM HGST жестких дисков. Расродажа на NewEgg.com поместила их в моих руках в $ 69.95/за каждый.
Корпус с ячейками для жестких дисков : через счастливой случайности , наткнулся на SuperMicro CSE- M28SAB . Это держатель. Там нету расширителя SAS которые, при использовании вкупе с ZFS и высокой пропускной способностью просто напросто отрубаются от перенагрузки. Поставляется с небольшим вентилятором на нем, но он слишком громок. К счастью , это просто вопрос удаления некоторых винтов. $142
Оперативная память: Kingston 8GB DDR3L 1600 ECC REG SODIMM , 2 планки. $ 99/планку . Память ECC не из дешевых. И я хотел возможность модернизировать ОЗУ позже , следовательно, планки по 8Гб . Это оставляет свободными 2 разьема на материнской плате.
HBA: SuperMicro AOC- USAS2 - L8E - происходит от производителя в режиме ИМ (Инициатор - Мишень). Позволяет ZFS быть арбитром разброса данных по дискам. $164.31
Продвода подключения HBA к корпусу для жестких дисков: 2 х Tripp Lite S506-18N (SFF-8087 к SFF- 8087) $ 28/каждый.
До сих пор все это было легко и относительно прямолинейно. А вот блок питания а во что все это оборудование заключить - это заняло чуток больше времени.
Отзывы XBIT Labs ' помог с решением о блоке питания. Их детальные обзоры - как, скажем, тип конденсаторов , используемых в строительстве блока питания ( разница есть, и не маловажна), или измерения стабильности выходного напряжения с использованием осциллографа были очень кстати. Начал с http://www.xbitlabs.com/articles/cases/ ... s-psu.html , затем отправился на http://www.xbitlabs.com/articles/cases/ ... ess_4.html ( 400 Вт, потому что вполне достаточно как максимум) , и таким образом :
Блок питания: Seasonic SS- 400FL2 . $130
Корпус: Есть не так много таких, которые были компактными (Mini-ITX материнская плата) , и, одновременно, было 2 х 5,25" отсека необходимые для установки корпуса с гнездами для жестких дисков. Выбор пал на Silverstone Тек SG01B-F. Берет аж до 3 х 80 мм вентиляторов.
Вентиляторы: 3 х Noctua 80mm NF- R8 PWM, и 1 х Scythe SY1225SL12SL (120мм вентилятор работающий на 500 оборотах вентилятор для блока питания)
Заметки по сборке:
Единственное, что следует иметь в виду, что без вентилятора БП предполагает, что он будет установлен в определенной ориентации. В частности - решеткой вверх. Это потому, что БП опирается на принцип конвекции горячего воздуха для вытяжки. А в корпусе установка БП такова, что эта вентиляционная решетка блока питания будет непосредственно под верхней крышкой. Но, перевернув блок питания с ног на голову и присобачив тихий вентилятор на 120мм на вытяжку, и вуаля - проблема решена.
Дополнительно, хотя HBA и поставляется с металлическим креплением, это крепление не для стандартных компютерных корпусов. Другими словами - это не позволит карте встать в разьем PCIe на материнской плате и быть закрепеленной в корпусе. Необходимо его снять. Не уверен, есть ли замена. По некоторым отчетам, можно снять стандартное крепление с чего-то еще и приспособить.
Собрал все это дело воедино, начал настройки. Использовав запасной 2.5" винчестер и смонтировал его внутри корпуса сделав его загрузочным диском - не хотел все время загружаться с USB.
Для установки. подклюл систему в домашнюю сеть, убедился, что IPMI запросила адрес.
Скачал "IPMI View" с сайта компании SuperMicro. Однин из приятных аспектов в этом ПО, что он поставляется с виртуальной консоли на основе Java. Значит нет необходимости в мониторе. Еще оказалосись плюсы: не нужно ставить
Java Web Start на моем ноутбуке так как IPMI View идет в комплекте со всеми что необходимо запустить приложение iKVM, и програмка iKVM поддерживает виртуальные диски. Это позволило загрузить FreeNAS ISO и использовать его в качестве виртуального USB CD-ROM , с которого сетевой накопитель сидящий в противоположном углу квартиры, может загрузиться. Не нужно ходить, USB вставлять, т.д. и т.п.
Запустил систему, установил FreeNAS , и понял что охлаждающие вентиляторы, эти PWM-контролируемые вентиляторы Noctua, вытворяют что-то странное - они раскручивались до полной скорости а потом до неслышимой в цикле около 25-30 секунд или около того. В поиск на эти наши интернеты! Оказывается, это известная проблема с материнскими платами SuperMicro. Их BIOS предполагает высокоскоростные вентиляторы (мин RPM: 800) , в то время как Noctua спокойно работает на 300. Таким образом, после загрузки системы, логика BIOS начнет замедлять вентиляторы - температура ведь низкая, процессоры говорят что они в очень даже в своих температурных пределах, все класс и пучком. Обороты падают ниже порога в 800, BIOS паникует так как эй кажется что вентилятор сломался и, в качестве компенсации, переводит оставшиеся вентиляторы в на полную мощность. Потом пере-пророверяет общую температуру, которая оказывается все еще в нормальном диапазоне, и начинает начинают затормаживать вентиляторы... И так повторяется до бесконечности.
http://hardforum.com/showthread.php?p=1038204386#post1038204386
Связался с тех-поддержкой Supermicro. Они резонно отметели, что, мол, плата поддерживает IPMI по локальной сети . Хотя програмка IPMIView не поддерживает изменение порогов для вентиляторов, програмка ' ipmiutil' это умеет делает. Напрямую с FreeBSD через /dev/ipmi0 она не работает, но через локальную сеть - в смаый раз. Скачал ее, собрал/скомпилировал, запросил список датчиков, обнаружил вентиляторы и их пороговые значения , а затем просто понизил эти пороги . Выглядит сие так:
Code:
#./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN
#ipmiutil ver 2.92
#isensor: version 2.92
#Opening lan connection to node 172.16.0.37 ...
#Connecting to node 172.16.0.37 172.16.0.37
#-- BMC version 1.24, IPMI version 2.0
#_ID_ SDR_Type_xx ET Own Typ S_Num Sens_Description Hex & Interp Reading
#0004 SDR Full 01 01 20 a 01 snum 01 CPU Temp = 27 OK 39.00 degrees C
#0047 SDR Full 01 01 20 a 01 snum 11 System Temp = 21 OK 33.00 degrees C
#008a SDR Full 01 01 20 a 01 snum 12 Peripheral Temp = 21 OK 33.00 degrees C
#00cd SDR Full 01 01 20 a 01 snum b0 DIMMA1 Temp = 22 OK 34.00 degrees C
#0110 SDR Full 01 01 20 a 01 snum b1 DIMMA2 Temp = 00 Absent 0.00 na
#0153 SDR Full 01 01 20 a 01 snum b4 DIMMB1 Temp = 24 OK 36.00 degrees C
#0196 SDR Full 01 01 20 a 01 snum b5 DIMMB2 Temp = 00 Absent 0.00 na
#01d9 SDR Full 01 01 20 a 04 snum 41 FAN1 = 13 OK 1900.00 RPM
#021c SDR Full 01 01 20 a 04 snum 42 FAN2 = 13 OK 1900.00 RPM
#025f SDR Full 01 01 20 a 04 snum 43 FAN3 = 12 OK 1800.00 RPM
#02a2 SDR Full 01 01 20 a 02 snum 20 VCCP = 56 OK 0.85 Volts
#02e5 SDR Full 01 01 20 a 02 snum 24 VDIMM = 8a OK 1.33 Volts
#0328 SDR Full 01 01 20 a 02 snum 30 12V = be OK 12.32 Volts
#036b SDR Full 01 01 20 a 02 snum 31 5VCC = ba OK 5.00 Volts
#03ae SDR Full 01 01 20 a 02 snum 32 3.3VCC = c1 OK 3.40 Volts
#03f1 SDR Full 01 01 20 a 02 snum 33 VBAT = c5 OK 3.12 Volts
#0434 SDR Full 01 01 20 a 02 snum 37 5V Dual = b9 OK 5.00 Volts
#0477 SDR Full 01 01 20 a 02 snum 38 3.3V AUX = be OK 3.32 Volts
#04ba SDR Full 01 6f 20 a 05 snum aa Chassis Intru = 00 OK 0.00 na
#0540 SDR FRU 11 12 dev: 20 00 80 26 00 00 BMC FRU
#0583 SDR IPMB 12 13 dev: 20 00 26 00 00 ATEN BMC
#05c6 SDR EvtO 03 1c 20 a dc snum 80 NM exception = 0000 OK
#0609 SDR EvtO 03 1c 20 a dc snum 81 NM health = 0000 OK
#064c SDR EvtO 03 1c 20 a dc snum 82 NM op cap = 0000 OK
#068f SDR EvtO 03 1c 20 a dc snum 83 NM alert = 0000 OK
#06d2 SDR OEM c0 0b Intel: NM(0,2c,0) health=1d excep=1e capab=1f thresh=20
# SDR IPMI sensor: Power On Hours = 0 hours
#ipmiutil sensor, completed successfully
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 41 -i 0x01d9 -l 0x02 -h 0x10 -p
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 42 -i 0x021c -l 0x02 -h 0x10 -p
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 43 -i 0x025f -l 0x02 -h 0x10 -p
#ipmiutil ver 2.92
#isensor: version 2.92
#Opening lan connection to node 172.16.0.37 ...
#Connecting to node 172.16.0.37 172.16.0.37
#-- BMC version 1.24, IPMI version 2.0
#_ID_ SDR_Type_xx ET Own Typ S_Num Sens_Description Hex & Interp Reading
#0004 SDR Full 01 01 20 a 01 snum 01 CPU Temp = 27 OK 39.00 degrees C
#0047 SDR Full 01 01 20 a 01 snum 11 System Temp = 21 OK 33.00 degrees C
#008a SDR Full 01 01 20 a 01 snum 12 Peripheral Temp = 21 OK 33.00 degrees C
#00cd SDR Full 01 01 20 a 01 snum b0 DIMMA1 Temp = 22 OK 34.00 degrees C
#0110 SDR Full 01 01 20 a 01 snum b1 DIMMA2 Temp = 00 Absent 0.00 na
#0153 SDR Full 01 01 20 a 01 snum b4 DIMMB1 Temp = 24 OK 36.00 degrees C
#0196 SDR Full 01 01 20 a 01 snum b5 DIMMB2 Temp = 00 Absent 0.00 na
#01d9 SDR Full 01 01 20 a 04 snum 41 FAN1 = 13 OK 1900.00 RPM
#021c SDR Full 01 01 20 a 04 snum 42 FAN2 = 13 OK 1900.00 RPM
#025f SDR Full 01 01 20 a 04 snum 43 FAN3 = 12 OK 1800.00 RPM
#02a2 SDR Full 01 01 20 a 02 snum 20 VCCP = 56 OK 0.85 Volts
#02e5 SDR Full 01 01 20 a 02 snum 24 VDIMM = 8a OK 1.33 Volts
#0328 SDR Full 01 01 20 a 02 snum 30 12V = be OK 12.32 Volts
#036b SDR Full 01 01 20 a 02 snum 31 5VCC = ba OK 5.00 Volts
#03ae SDR Full 01 01 20 a 02 snum 32 3.3VCC = c1 OK 3.40 Volts
#03f1 SDR Full 01 01 20 a 02 snum 33 VBAT = c5 OK 3.12 Volts
#0434 SDR Full 01 01 20 a 02 snum 37 5V Dual = b9 OK 5.00 Volts
#0477 SDR Full 01 01 20 a 02 snum 38 3.3V AUX = be OK 3.32 Volts
#04ba SDR Full 01 6f 20 a 05 snum aa Chassis Intru = 00 OK 0.00 na
#0540 SDR FRU 11 12 dev: 20 00 80 26 00 00 BMC FRU
#0583 SDR IPMB 12 13 dev: 20 00 26 00 00 ATEN BMC
#05c6 SDR EvtO 03 1c 20 a dc snum 80 NM exception = 0000 OK
#0609 SDR EvtO 03 1c 20 a dc snum 81 NM health = 0000 OK
#064c SDR EvtO 03 1c 20 a dc snum 82 NM op cap = 0000 OK
#068f SDR EvtO 03 1c 20 a dc snum 83 NM alert = 0000 OK
#06d2 SDR OEM c0 0b Intel: NM(0,2c,0) health=1d excep=1e capab=1f thresh=20
# SDR IPMI sensor: Power On Hours = 0 hours
#ipmiutil sensor, completed successfully
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 41 -i 0x01d9 -l 0x02 -h 0x10 -p
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 42 -i 0x021c -l 0x02 -h 0x10 -p
./ipmiutil sensor -N 172.16.0.37 -U ADMIN -R ADMIN -n 43 -i 0x025f -l 0x02 -h 0x10 -p
И все, затихли вентиляторы.
Теперь все что осталось сделать это перебросить 2.6Тб с QNAP на это устройство. Ы
