JOURFIXE

It is currently Thu Mar 28, 2024 6:51 am

All times are UTC - 8 hours [ DST ]




Post new topic Reply to topic  [ 1 post ] 
Author Message
 Post subject: Сетевой накопитель данных для дома и малой компании своими р
PostPosted: Thu Feb 20, 2014 11:07 am 
Offline
User avatar

Joined: Wed May 21, 2008 10:52 pm
Posts: 1344
Location: North-East US.
Решил себе дома построить сетевой накопитель. Делюсь "опытом", авось кому пригодится.

Во-первых, нужно решить с каким программное обеспечением будете работать, потому что это определит значительную часть аппаратных требований.

Меня интересует ZFS. Кроме того, я не хотел бы не заново изобретать колесо что предопределяет операционные системы FreeBSD , OpenSolaris или внедренее ZFS в Linux.

Зная что у некоторых из операций ZFS (как дедупликации , например) , есть конкретные требования по обьему оперативной памяти (сам использовал как исходные: 2Г ОЗУ на 1 Тб на винчестерах) , и мы можем начать.

Дома уже есть сетевой накопитель - QNAP SS- 839 (устройство размером тостер, но с 8 х 2,5 " отсека для жестких дисков ) С 8 х 500 Гб жестких дисков , этот накопитель жует 45 Вт от стенки, и, заодно, тих - необходимое условие для устройства гнездящегося в моем жилом пространстве. Но на нем, к сожалению, заканчивается свободное место. В принципе, обновление возможно, но если купить большие жесткие диски (сейчас уже 1TB жесткие диски можно купить за разумную цену) и просто модернизировать, то что делать с 8 х 500G жестких дисков в рабочем состоянии? Показалось расточительно просто оставить их в стопке на столе, а перепродать их не имеет смысла. И вот, Я строю NAS ! Ура?

Требования , собственно (физические / аппаратные / программное обеспечение перемешаны):
1) Тихий. Полностью или около того.
2) Стабильный .
3) ZFS
4) Программное обеспечение которое уже поддерживается кем-то и как-то, ибо не охота самому все воять.
5) 8 х 2,5 отсека для жестких дисков минимум. Предпочтительна возможность менять диски без выключения всего устройства.
6) Энергоэффективный . Это поможет с тихой стороно вещей , а также дешевле в смысле платы за электричество, да и легче охлаждать летом.
7) ECC RAM, так как перевернутые биты нах не нужны
8) Без аппаратурной поддержки RAID. ZFS само справится.
9) Занимает наименьшее места на столе/под столом/где-то там еще.

В списке , "не дорогой" отсутствует. Понимал что в конечном итоге платить немного больше, чем если бы купил готовое.

Собственно оборудование:

Материнская плата: высокая энергоэффективность, легко охлаждаемая, но с ECC RAM ? Не то чтобы много было кандидатов. Остановился на SuperMicro A1SAi - 2750F. Atom CPU . 8 ядер . (Да. 8 ! ) 4 сетевых интерфейса на борту . ECC RAM поддерживает, равно как и IPMI по локальной сети (бонус, но очень пригодившийся попозже). Mini-ITX размер. Потребляет 20Вт энергии. Минус? Цена. $364 является лучшей найденой ценой в январе 2014 .

Жесткие диски : На протяжении всей моей ИТ / компьютерный жизни, был большим поклонником жестких дисков компании Hitachi. Большую часть времени , без конкретных доказательств на это мнение - просто анекдотический данные , что они работают. Правда недавно вышло исследование это подтверждающее. Так что, 8 х 1TB 7200 RPM HGST жестких дисков. Расродажа на NewEgg.com поместила их в моих руках в $ 69.95/за каждый.

Корпус с ячейками для жестких дисков : через счастливой случайности , наткнулся на SuperMicro CSE- M28SAB . Это держатель. Там нету расширителя SAS которые, при использовании вкупе с ZFS и высокой пропускной способностью просто напросто отрубаются от перенагрузки. Поставляется с небольшим вентилятором на нем, но он слишком громок. К счастью , это просто вопрос удаления некоторых винтов. $142

Оперативная память: Kingston 8GB DDR3L 1600 ECC REG SODIMM , 2 планки. $ 99/планку . Память ECC не из дешевых. И я хотел возможность модернизировать ОЗУ позже , следовательно, планки по 8Гб . Это оставляет свободными 2 разьема на материнской плате.

HBA: SuperMicro AOC- USAS2 - L8E - происходит от производителя в режиме ИМ (Инициатор - Мишень). Позволяет ZFS быть арбитром разброса данных по дискам. $164.31

Продвода подключения HBA к корпусу для жестких дисков: 2 х Tripp Lite S506-18N (SFF-8087 к SFF- 8087) $ 28/каждый.

До сих пор все это было легко и относительно прямолинейно. А вот блок питания а во что все это оборудование заключить - это заняло чуток больше времени.

Отзывы XBIT Labs ' помог с решением о блоке питания. Их детальные обзоры - как, скажем, тип конденсаторов , используемых в строительстве блока питания ( разница есть, и не маловажна), или измерения стабильности выходного напряжения с использованием осциллографа были очень кстати. Начал с http://www.xbitlabs.com/articles/cases/ ... s-psu.html , затем отправился на http://www.xbitlabs.com/articles/cases/ ... ess_4.html ( 400 Вт, потому что вполне достаточно как максимум) , и таким образом :

Блок питания: Seasonic SS- 400FL2 . $130

Корпус: Есть не так много таких, которые были компактными (Mini-ITX материнская плата) , и, одновременно, было 2 х 5,25" отсека необходимые для установки корпуса с гнездами для жестких дисков. Выбор пал на Silverstone Тек SG01B-F. Берет аж до 3 х 80 мм вентиляторов.

Вентиляторы: 3 х Noctua 80mm NF- R8 PWM, и 1 х Scythe SY1225SL12SL (120мм вентилятор работающий на 500 оборотах вентилятор для блока питания)

Заметки по сборке:

Единственное, что следует иметь в виду, что без вентилятора БП предполагает, что он будет установлен в определенной ориентации. В частности - решеткой вверх. Это потому, что БП опирается на принцип конвекции горячего воздуха для вытяжки. А в корпусе установка БП такова, что эта вентиляционная решетка блока питания будет непосредственно под верхней крышкой. Но, перевернув блок питания с ног на голову и присобачив тихий вентилятор на 120мм на вытяжку, и вуаля - проблема решена.

Дополнительно, хотя HBA и поставляется с металлическим креплением, это крепление не для стандартных компютерных корпусов. Другими словами - это не позволит карте встать в разьем PCIe на материнской плате и быть закрепеленной в корпусе. Необходимо его снять. Не уверен, есть ли замена. По некоторым отчетам, можно снять стандартное крепление с чего-то еще и приспособить.

Собрал все это дело воедино, начал настройки. Использовав запасной 2.5" винчестер и смонтировал его внутри корпуса сделав его загрузочным диском - не хотел все время загружаться с USB.
Для установки. подклюл систему в домашнюю сеть, убедился, что IPMI запросила адрес.
Скачал "IPMI View" с сайта компании SuperMicro. Однин из приятных аспектов в этом ПО, что он поставляется с виртуальной консоли на основе Java. Значит нет необходимости в мониторе. Еще оказалосись плюсы: не нужно ставить
Java Web Start на моем ноутбуке так как IPMI View идет в комплекте со всеми что необходимо запустить приложение iKVM, и програмка iKVM поддерживает виртуальные диски. Это позволило загрузить FreeNAS ISO и использовать его в качестве виртуального USB CD-ROM , с которого сетевой накопитель сидящий в противоположном углу квартиры, может загрузиться. Не нужно ходить, USB вставлять, т.д. и т.п.

Запустил систему, установил FreeNAS , и понял что охлаждающие вентиляторы, эти PWM-контролируемые вентиляторы Noctua, вытворяют что-то странное - они раскручивались до полной скорости а потом до неслышимой в цикле около 25-30 секунд или около того. В поиск на эти наши интернеты! Оказывается, это известная проблема с материнскими платами SuperMicro. Их BIOS предполагает высокоскоростные вентиляторы (мин RPM: 800) , в то время как Noctua спокойно работает на 300. Таким образом, после загрузки системы, логика BIOS начнет замедлять вентиляторы - температура ведь низкая, процессоры говорят что они в очень даже в своих температурных пределах, все класс и пучком. Обороты падают ниже порога в 800, BIOS паникует так как эй кажется что вентилятор сломался и, в качестве компенсации, переводит оставшиеся вентиляторы в на полную мощность. Потом пере-пророверяет общую температуру, которая оказывается все еще в нормальном диапазоне, и начинает начинают затормаживать вентиляторы... И так повторяется до бесконечности.
http://hardforum.com/showthread.php?p=1038204386#post1038204386

Связался с тех-поддержкой Supermicro. Они резонно отметели, что, мол, плата поддерживает IPMI по локальной сети . Хотя програмка IPMIView не поддерживает изменение порогов для вентиляторов, програмка ' ipmiutil' это умеет делает. Напрямую с FreeBSD через /dev/ipmi0 она не работает, но через локальную сеть - в смаый раз. Скачал ее, собрал/скомпилировал, запросил список датчиков, обнаружил вентиляторы и их пороговые значения , а затем просто понизил эти пороги . Выглядит сие так:
Code:
#./ipmiutil sensor  -N 172.16.0.37 -U ADMIN -R ADMIN
#ipmiutil ver 2.92
#isensor: version 2.92
#Opening lan connection to node 172.16.0.37 ...
#Connecting to node 172.16.0.37 172.16.0.37
#-- BMC version 1.24, IPMI version 2.0
#_ID_ SDR_Type_xx ET Own Typ S_Num   Sens_Description   Hex & Interp Reading
#0004 SDR Full 01 01 20 a 01 snum 01 CPU Temp         = 27 OK   39.00 degrees C
#0047 SDR Full 01 01 20 a 01 snum 11 System Temp      = 21 OK   33.00 degrees C
#008a SDR Full 01 01 20 a 01 snum 12 Peripheral Temp  = 21 OK   33.00 degrees C
#00cd SDR Full 01 01 20 a 01 snum b0 DIMMA1 Temp      = 22 OK   34.00 degrees C
#0110 SDR Full 01 01 20 a 01 snum b1 DIMMA2 Temp      = 00 Absent 0.00 na
#0153 SDR Full 01 01 20 a 01 snum b4 DIMMB1 Temp      = 24 OK   36.00 degrees C
#0196 SDR Full 01 01 20 a 01 snum b5 DIMMB2 Temp      = 00 Absent 0.00 na
#01d9 SDR Full 01 01 20 a 04 snum 41 FAN1             = 13 OK   1900.00 RPM
#021c SDR Full 01 01 20 a 04 snum 42 FAN2             = 13 OK   1900.00 RPM
#025f SDR Full 01 01 20 a 04 snum 43 FAN3             = 12 OK   1800.00 RPM
#02a2 SDR Full 01 01 20 a 02 snum 20 VCCP             = 56 OK   0.85 Volts
#02e5 SDR Full 01 01 20 a 02 snum 24 VDIMM            = 8a OK   1.33 Volts
#0328 SDR Full 01 01 20 a 02 snum 30 12V              = be OK   12.32 Volts
#036b SDR Full 01 01 20 a 02 snum 31 5VCC             = ba OK   5.00 Volts
#03ae SDR Full 01 01 20 a 02 snum 32 3.3VCC           = c1 OK   3.40 Volts
#03f1 SDR Full 01 01 20 a 02 snum 33 VBAT             = c5 OK   3.12 Volts
#0434 SDR Full 01 01 20 a 02 snum 37 5V Dual          = b9 OK   5.00 Volts
#0477 SDR Full 01 01 20 a 02 snum 38 3.3V AUX         = be OK   3.32 Volts
#04ba SDR Full 01 6f 20 a 05 snum aa Chassis Intru    = 00 OK   0.00 na
#0540 SDR FRU  11 12 dev: 20 00 80 26 00 00 BMC FRU
#0583 SDR IPMB 12 13 dev: 20 00 26 00 00 ATEN BMC
#05c6 SDR EvtO 03 1c 20 a dc snum 80 NM exception     = 0000 OK
#0609 SDR EvtO 03 1c 20 a dc snum 81 NM health        = 0000 OK
#064c SDR EvtO 03 1c 20 a dc snum 82 NM op cap        = 0000 OK
#068f SDR EvtO 03 1c 20 a dc snum 83 NM alert         = 0000 OK
#06d2 SDR OEM  c0 0b Intel: NM(0,2c,0) health=1d excep=1e capab=1f thresh=20
#     SDR IPMI       sensor: Power On Hours         = 0 hours
#ipmiutil sensor, completed successfully

./ipmiutil sensor  -N 172.16.0.37 -U ADMIN -R ADMIN -n 41 -i 0x01d9 -l 0x02 -h 0x10 -p
./ipmiutil sensor  -N 172.16.0.37 -U ADMIN -R ADMIN -n 42 -i 0x021c -l 0x02 -h 0x10 -p
./ipmiutil sensor  -N 172.16.0.37 -U ADMIN -R ADMIN -n 43 -i 0x025f -l 0x02 -h 0x10 -p

И все, затихли вентиляторы.

Теперь все что осталось сделать это перебросить 2.6Тб с QNAP на это устройство. Ы :)

_________________
11B. Sand Hill | كاف


Top
 Profile  
 
Display posts from previous:  Sort by  
Post new topic Reply to topic  [ 1 post ] 

All times are UTC - 8 hours [ DST ]


Who is online

Users browsing this forum: No registered users and 3 guests


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot post attachments in this forum

Search for:
Jump to:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group