GD Star Rating
loading...
loading...
Всем добрый день.
Я собрал NAS для дома, и столкнулся с низкой производительностью дисковой системы на Ubuntu Server и Samba.
Инсайде конфиг и суть проблемы.
89 Responses to Всем добрый день.
Добавить комментарий Отменить ответ
Новости IT
- В 2015 году Kodak планируют запустить собственную линейку смартфонов на базе Android
- Xiaomi стали третьим крупнейшим производителем смартфонов в мире
- Во время конференции Google I/O поисковой гигант может продемонстрировать приставку Android TV
- Intel не выпустят процессоры следующего поколения Broadwell до начала 2015 года
- Google хотят унифицировать дизайн мобильных приложений с помощью новой программы “Quantum Paper”
- 18 июня Amazon могут представить свой первый 3D смартфон
- Transcend анонсировали дополнительные карты памяти JetDrive Lite для MacBook Air и Retina MacBook Pro
- Samsung считают, что судебные иски Apple должны быть нацелены не на их компанию, а на Google
- Epson представили второе поколение своих умных очков на базе ОС Android – Moverio BT-200
- Lenovo выпустили свои первые 279-долларовые Chromebook, ориентированные на потребительский рынок
Последние опубликованные
- Насколько реально вернуть домен уведенный сквоттером?
- Как у Вас дела обстоят с документацией, её структурированием и хранением?
- Градации web-разработчика в Украине,
- строки по baseline
- новая или вторая видеокарта ?
- psd макет для wordpress
- Помогите с SSL
- Как мне постить с приложения в Действия?
- сколько может стоить подобный ?
- Online консультант
- трехмерная модель челюсти
- box-shadow и Opera
- Request limit exceeded (64), referer:
- Парни, а чем вы вдски админите?
- Выбор роутера
Последние прочитанные
Материнка Zotac NM10–F–E
Процессор Intel Atom D525
Памяти 2 gb
Три жестких диска: системный 120 гб, 2,5 дюйма,
два других — 3 TB Hitachi HDS5C3030ALA630, и Seagate 750 GB — для хранения.
Работает на Ubuntu Server 11.
Установлена Samba 4. До этого стояла Samba 3.5.11
Я столкнулся с низкой производительностью. Samba выдавала 25 мегабайт на скачивание, 35 на закачивание, и это по гигабитной сети. Виндовый комп при этом отдает контент в диапазоне 60–100 мегабайт.
Сначала я думал, что дело в Sambe – но затем %username% ProtoStar посоветовал проверить скорость копирования не по сети.
Я проверил, используя MC. Результат меня огорчил:
Переписывая с трехтерабайтника на трехтерабайтник: 17,52 Мб/сек
Переписывая с трехтерабайтника на 750 гиговый сигейт 23–26 Мб/сек
C 750 гигового сигейта на трехтерабайтник — 34–37Мб/сек
Скриншот:
В каком направлении копать? Можно ли увеличить производительность на этой системе, или это максимум?
P.S. Покупать NetApp не предлагайте.
а ради прикола попробуй тоже самое на винде
Хаха, какой закономерный пост, после поста про окончание сборки самодельного NAS. У меня также было, лет 10 назад.
какая фс на стородже?
Stephan-V: (прозреваю тормозящий ntfs-3g)
ext4. до нтфс под убунтой еще додуматься надо.
: Вы бы не злорадствовали, а добрым советом помогли.
: а я и не злорадствую. Скорее всего FS дисковая виновата.
: на винде, с расшареной папки 60-100 МБ скорость.
: спасибо на добром слове. ext4 было ошибкой ставить?
: я честно говоря хз, потому что 10 лет назад я собрал серваки на целеронах 2000х с ATA контроллерами и повоевав с настройками Самбы и ext3 на ALTLinux и Centos, смирился с 25 мегами в секунду. Потом пробовал еще FreeNAS позже там были те же скорости. Компы эти работают до сих пор в паре комп. клубов 🙂
ext4 не щупал
скорости копирования и скорость отдачи в сеть это несопоставимые вещи. предлагаю замерить скорость чтения файлов
Stephan-V: а есть для этого хитрая команда?
: dd if=somefile of=/dev/null bs=1M
Stephan-V: файл побольше только надо взять
: про виндовый комп ты уже написал, что 60-100МБ/сек выдает.
а на этом же железе Zotac NM10–F–E + Intel Atom D525 + 2 gb если винду поставить какие скорости выдает?
Stephan-V: bs в 1 Мб покажет тебе непойми что.
: лолшто.
: libparted при сдвиге раздела обычно пробует перемещения блоками по 128,256,512k. 1024k должно хватить за глаза, тем более между разными девайсами
Запись по 1Гбит сети на QNAP TS-459R. В готовых решениях есть смысл.
: самое смешное, что я стал собирать NAS именно потому, что готовые решения среднего ценового диапазона меня не устраивали по производительности. И так обломался.
: так ты измерил что тебе сказали?
Stephan-V: бросай опиаты
: ты прнс?
Stephan-V: Да
: брсай мн
Stephan-V: држи
Stephan-V: да, результат хороший:
[email protected]:~$ su
Password:
[email protected]:/home/konstantin# dd if=/mnt/disk2/Avatar_3D.iso of=/dev/null bs=1024k count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 83,8892 s, 125 MB/s
Какие дальнейшие действия?
Stephan-V:
я немного синтаксис поменял по рекомендации, результат вот:
[email protected]:~$ su
Password:
[email protected]:/home/konstantin# dd if=/mnt/disk2/Avatar_3D.iso of=/dev/null bs=1024k count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 83,8892 s, 125 MB/s
: наоборот зделой, проверь скорость записи теперь
: ну дык, офигеть скорость чтения же
Stephan-V: лолто.
bs=1M заставит dd читать блоками по 1 Мб, но не отключит дисковые кэши.
Ха, круто будет посмотреть на решение, сам провозился с ubuntu server пару недель, плюнул, поставил винду -> 80 -100MB/s по гигабитной сети.
Stephan-V: а как эту скорость чтения конвертировать в высокую производительность на Samba?
Сделай в ubuntu в консоли от рута:
hdparm -t /dev/sd* (где звездочка это буква диска). Буквы нужного диска смотрим коммандой df.
Установи в убунте пакет iotop. Во время копирования файла запусти iotop и позырь как и чем нагружен диск.
Короче надо найти узкое место. На мой взгляд или сеть или диск.
: Надо принудительно заставлять перед написанием комментария прочитывать все комментарии в посте
: я буду читать комментарии! я буду читать комментарии! я буду читать комментарии!
Пкжи SMRT
: самба тормозная сама по себе. попробуй это:
и увеличить SO_SNDBUF и SO_RCVBUF в конфе самбы
: а причом тут дисковые кэши-то. нам интересна практическая скорость как раз
Stephan-V: Ну какая нахрен самба?
Переписывая с трехтерабайтника на трехтерабайтник: 17,52 Мб/сек
Переписывая с трехтерабайтника на 750 гиговый сигейт 23–26 Мб/сек
C 750 гигового сигейта на трехтерабайтник — 34–37Мб/сек
Stephan-V: кеши не при чем
хочешь решение? поставь винду и не парься
: стать петухом это не решение
: первую команду сделал:
/dev/sdc1:
Timing buffered disk reads: 370 MB in 3.01 seconds = 123.05 MB/sec – это трехтерабайтник
/dev/sdb1:
Timing buffered disk reads: 232 MB in 3.01 seconds = 77.11 MB/sec – это 750 гиг.
С iotop ща попробую разобраться.
Stephan-V: Тем, что чтение/запись без сброса дисковых кэшей покажет тебе попугаев в ваккууме. У меня было чтение 3 гб/сек и запись 1 гб/сек – на сата1-диске.
Stephan-V: обсоснуй? )
: под винду нет motion, а я хочу следить за соседями-мудаками в общем тамбуре.
Ну и потом для файлопомойки + сервер видеонаблюдения винда избыточна.
: есть альтернативы, но аргумент принят, моушен это моушен 🙂
: Лови
=== START OF INFORMATION SECTION ===
Model Family: Hitachi Deskstar 5K3000
Device Model: Hitachi HDS5C3030ALA630
Serial Number: MJ1311YNG57BMA
LU WWN Device Id: 5 000cca 228c2618a
Firmware Version: MEAOA5C0
User Capacity: 3 000 592 982 016 bytes [3,00 TB]
Sector Size: 512 bytes logical/physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: 8
ATA Standard is: ATA-8-ACS revision 4
Local Time is: Fri May 4 17:58:04 2012 MSK
SMART support is: Available – device has SMART capability.
SMART support is: Enabled
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (36667) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
SCT capabilities: (0x003d) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000b 100 100 016 Pre-fail Always – 0
2 Throughput_Performance 0x0005 136 136 054 Pre-fail Offline – 102
3 Spin_Up_Time 0x0007 100 100 024 Pre-fail Always – 423
4 Start_Stop_Count 0x0012 100 100 000 Old_age Always – 9
5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always – 0
7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always – 0
8 Seek_Time_Performance 0x0005 132 132 020 Pre-fail Offline – 32
9 Power_On_Hours 0x0012 100 100 000 Old_age Always – 145
10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always – 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always – 9
192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always – 12
193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always – 12
194 Temperature_Celsius 0x0002 162 162 000 Old_age Always – 37 (Min/Max 25/42)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always – 0
197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always – 0
198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline – 0
199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always – 0
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]
SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
: альтернативы? Да ладно? Под венду, чтоб гибкая настройка, и забесплатно, и H264 поддерживает?
: морозная история, братец
: ну я ж говорю, аргумент принят
бесплатность софта для домашнего использования ещё кто-то учитывает?
: Я например
: тебе никто не говорил что ты странный?)
Stephan-V: Вольному воля.
: И что непонятного будет в показаниях чтения, например, 4гб файла с bs=1M?
: давай перефразирую: есть платный аналог стоимостью до 20 уе? (мне одна камера нужна, а не 8, я не паук)
: На всех дисках проверь.
: И кстати, можно указывать bs=1M count=10k
: А там с него параллельно с сети/в сеть ничего не льётся с этих же дисков?
: на втором, который 750 гиг – вот это:
dd if=/mnt/disk1/Avatar_3D.iso of=/dev/null bs=1024k count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 131,676 s, 79,6 MB/s
ну, это не 125, конечно, но тоже поболе, чем при копировании.
: просто регистратора для одной камеры?
да вообще что угодно
что за “гибкая настройка” – вот вопрос)
: Нет. Ты первый.
А использовать только лицензионный софт это что-то странное?
: А если делаешь dd if=/mnt/disk1/Avatar_3D.iso of=/mnt/disk2/Avatar_3D.iso bs=1M count=10k?
: мне кажется – да
я такого только одного знаю, теперь двоих
: я третий
Stephan-V: ну что ты странный я знал и до этого)
: даже Аукс пираткой не зашкваривается
: вот результаты iotop при копировании с диска на диск через MC
…
(картинку вставлять не стал, она большая)
: Отлично.
И для кучи оба файла вывода залей куда-нибудь.
dumpe2fs /dev/sdb1 > /tmp/sdb1.out
dumpe2fs /dev/sdc1 > /tmp/sdc1.out
Просто ко мне обращались по работе с похожей проблемой, но там обстоятельства сложились в пользу винды.
: лови:
…
…
Stephan-V: Да он и на этой блоге не зашкваривается особо
: Ну скажем так, при наличии open-source альтернатив я использую бесплатный софт, если уж совсем прижмет, или прога реально клевая и нужная – покупаю без вопросов предвижу бугурт нищеёбов и макоёбов. Но на данный момент у меня дома ни на одном из 4 компов нет нелицензионныхвзломанных программ.
: как-то хуево написал, но суть понятна
: круто, чё) уважаю
: А расскажите про motion? Года три назад интересовался темой видеонаблюдения под линукс и всё было ужасно.
: по запросу “25 mb/s”.
: смишно
: поставил я винду на него, вернее windows server 8 beta. Выдает 75 мегабайт стабильно.
занятно, поприсутствую. мои туда и обратно
ограничены в данном случае скоростью винчестера на декстопных виндах – внешний диск 2,5″ подключенный по usb3.
общение идет с одиночным seagate sv35.5 3tb
по существу вопроса – промеряй диск с помощью дд или bonnie++. Если не ок, то копай в сторону переразметить диск, протестировать поверхность и прочая. если ок, то есть какие то клиент-серверные бенчмарки, нагружающие сеть, например iperf. если и тут ок, то начинаем искать где и чем ты читаешь-пишешь файлы. например какими блоками спрашивает ПО на твоем конце файлы – у твоей домашней сети есть какая то конечная производительность. у меня например при больших файлах скорость копирования достигает 100+ мб сек в любую сторону с/на быстрые диски. Но при работе с диска всякими софтами утилизация сети не выше 40%, тк мои софты спрашиваю файлы блоками по 4кб.
Померять размер блока можно Process Monitor’ом. На ехт4 грешить не надо – это весьма производительная фс.
: ты ubuntu 64 или 32 ставил? попробуй сменить дистрибутив на debian 32битный.
: Блин, вот и у меня такое решение проблемы вышло… эх а думал, что-то полезное всплывёт в этом посте.
: полезное всплыло в этом посте. ниже Ёмкость описал методологию тестирования, следуя которой оп мог бы придти к результату, как у него. но вы, ребята, видимо ждёте ответа в стиле “на какую кнопку нажать, чтобы было пиздато”
Stephan-V: Смотри, я мерял сетку с iperf, 750-800mbps, диск с dd пишет-читает в районе 80-100MB/sec уже не помню точно число. IOtop при копировании с жестяка на жестяк показывал плачевные результаты, которые сходятся с тем что показывал mc. Там есть ниже скрин с iotop, почти тоже самое, что и у меня.
Моё железо intel s5000PSL и два Xeon 2.9ghz, 8gb ram. Жестяки подключены по sata. Всё крутилось на esxi + Ubuntu 64 в виртуалке. По идее всё должно летать, тут же ничего интенсивного не происходит. Да, по nfs между 2мя серверами были такие же скорости.
Сейчас всё тоже самое только в виртуалке server 2008 r2, скорость отличная.
Куда копать дальше?
: паравиртуализация дисков как была организована? с сетью как поступил?
Stephan-V: диски подключены через raw device mapping (мамка не поддерживает vt-d). Использовал LSI logic parallel, до VMware paravirtual руки не дошли. Если в этом дело, то почему dd пишет/читает на отличной скорости?
Сетка: пробовал и vmxnet3 и е1000 адаптеры, разница была только во время тестов iperf между 2мя виртуалками на 1м esxi хосте, да с vmxnet3 iperf тесты были в разы быстрее, но на передаче файла по сети это никак не отразилось, всё было медленно.
Vmware-tools стояли.
Я прям опять загорелся прийти домой и покопаться, просто год назад времени на это особо не было.
: получается дело в конкретном демоне?
: …