Тестирование скорости дисков

...
  • Serge
    Для Линукс я находил упоминание какой то опции direct, чтобы кэш не играл роли.
    А вообще, да - нужно улучшать подсистему кэша в Колибри, по крайней мере у нас есть теперь индикатор.

    З.Ы. Если судить по логу, то видно почему Линукс рулит и педалит, а Шиндовс глотает пыль. Кстати мог бы выложить свои бинарники, для тестирования?

    Я плохо знаю Сишный синтаксис, но у тебя точно при пересечении 64 МБ на начало файла не возвращается? У меня если файл более 64 МБ, то читается весь файл насколько позволяет его длина.
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Mario_r4 wrote: у тебя точно при пересечении 64 МБ на начало файла не возвращается? У меня если файл более 64 МБ, то читается весь файл насколько позволяет его длина.
    Точно, возвращается. Я не внимательно прочитал пункт 4.
  • Serge wrote:
    Mario_r4 wrote: у тебя точно при пересечении 64 МБ на начало файла не возвращается? У меня если файл более 64 МБ, то читается весь файл насколько позволяет его длина.
    Точно, возвращается. Я не внимательно прочитал пункт 4.
    Если скорректировать алгоритм, то значения могут быть не такими разгромными. :-)
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Mario_r4 wrote:Если скорректировать алгоритм, то значения могут быть не такими разгромными. :-)
    Сильно зависит от размера кеша файловой системы.
    Исправленная версия. Поддерживает файлы размером более 4ГБ.
    Win 7 ST3320620AS AHCI FAT32
    Spoiler:file size is 193341440
    chunk 512 iterations 16325169 speed 510161 KB/s
    chunk 1 KB iterations 14748723 speed 921795 KB/s
    chunk 2 KB iterations 12251556 speed 1531444 KB/s
    chunk 4 KB iterations 9210707 speed 2302676 KB/s
    chunk 8 KB iterations 6378731 speed 3189365 KB/s
    chunk 16 KB iterations 3807628 speed 3807628 KB/s
    chunk 32 KB iterations 2206225 speed 4412450 KB/s
    chunk 64 KB iterations 1158347 speed 4633388 KB/s
    chunk 128 KB iterations 579191 speed 4633528 KB/s
    chunk 256 KB iterations 284834 speed 4557344 KB/s
    chunk 512 KB iterations 143511 speed 4592352 KB/s
    chunk 1 MB iterations 71076 speed 4548864 KB/s
    chunk 2 MB iterations 34383 speed 4401024 KB/s
    chunk 4 MB iterations 14279 speed 3655424 KB/s
    chunk 8 MB iterations 6820 speed 3491840 KB/s
    chunk 16 MB iterations 3420 speed 3502080 KB/s
    chunk 32 MB iterations 1713 speed 3508224 KB/s
    chunk 64 MB iterations 851 speed 3485696 KB/s
    Attachments
    fspeed-win.7z (8.84 KiB)
    Downloaded 282 times
  • SVN r.4835 - добавил программу в репозиторий SVN.
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Serge wrote:fspeed-win
    Dell Inspiron + WDC WD7500BPVT-00HXZT3 (NTFS, AHCI)
    Spoiler:file size is 545177600
    chunk 512 iterations 3553760 speed 111055 KB/s
    chunk 1 KB iterations 3364556 speed 210284 KB/s
    chunk 2 KB iterations 3034519 speed 379314 KB/s
    chunk 4 KB iterations 2596170 speed 649042 KB/s
    chunk 8 KB iterations 2022770 speed 1011385 KB/s
    chunk 16 KB iterations 1444795 speed 1444795 KB/s
    chunk 32 KB iterations 884104 speed 1768208 KB/s
    chunk 64 KB iterations 496431 speed 1985724 KB/s
    chunk 128 KB iterations 262301 speed 2098408 KB/s
    chunk 256 KB iterations 136199 speed 2179184 KB/s
    chunk 512 KB iterations 70888 speed 2268416 KB/s
    chunk 1 MB iterations 34962 speed 2237568 KB/s
    chunk 2 MB iterations 13558 speed 1735424 KB/s
    chunk 4 MB iterations 6507 speed 1665792 KB/s
    chunk 8 MB iterations 3305 speed 1692160 KB/s
    chunk 16 MB iterations 1653 speed 1692672 KB/s
    chunk 32 MB iterations 822 speed 1683456 KB/s
    chunk 64 MB iterations 414 speed 1695744 KB/s
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Serge wrote:yogev_ezra
    Сила в кеше !. Один раз считалось в оперативку и сидит там всё время.
    Тогда результаты твоего теста - полная фигня.
    Ты когда фильмы копируешь со своего харда на флешку, чтобы отдать другу, тоже один и тот же фильм 2 раза копируешь, потому что второй раз быстрее (из кэша)? :lol:

    SVN #4822
    Процессор: Intel Atom D510
    Материнская плата: Intel D510MO. На плате есть 1 SATA controller, встроенный в южный мост NM10, поддерживающий до 2 SATA устройств в режиме IDE/AHCI.
    Был подключен 1 SSD диск 240GB SPK-SF12-M240 (отформатированный в NTFS).

    Результаты тестов программы FSPEED -
    В режиме AHCI, на синем экране включена опция B, диск виден как /bd, тест файла размером 207MB:
    Spoiler:FSPEED: chunk size: 512 iterations: 210305 speed: 6572 KB/s
    FSPEED: chunk size: 1K iterations: 128369 speed: 8023 KB/s
    FSPEED: chunk size: 2K iterations: 73933 speed: 9241 KB/s
    FSPEED: chunk size: 4K iterations: 39859 speed: 9964 KB/s
    FSPEED: chunk size: 8K iterations: 20675 speed: 10337 KB/s
    FSPEED: chunk size: 16K iterations: 10548 speed: 10548 KB/s
    FSPEED: chunk size: 32K iterations: 5098 speed: 10196 KB/s
    FSPEED: chunk size: 64K iterations: 2676 speed: 10704 KB/s
    FSPEED: chunk size: 128K iterations: 1341 speed: 10728 KB/s
    FSPEED: chunk size: 256K iterations: 671 speed: 10736 KB/s
    FSPEED: chunk size: 512K iterations: 336 speed: 10752 KB/s
    FSPEED: chunk size: 1M iterations: 168 speed: 10752 KB/s
    FSPEED: chunk size: 2M iterations: 84 speed: 10752 KB/s
    FSPEED: chunk size: 4M iterations: 42 speed: 10752 KB/s
    FSPEED: chunk size: 8M iterations: 21 speed: 10752 KB/s
    FSPEED: chunk size: 16M iterations: 11 speed: 11264 KB/s
    FSPEED: chunk size: 32M iterations: 6 speed: 12288 KB/s
    FSPEED: chunk size: 64M iterations: 3 speed: 12288 KB/s
    То же, тест файла размером 471MB:
    Spoiler:FSPEED: chunk size: 512 iterations: 202001 speed: 6312 KB/s
    FSPEED: chunk size: 1K iterations: 125185 speed: 7824 KB/s
    FSPEED: chunk size: 2K iterations: 71173 speed: 8896 KB/s
    FSPEED: chunk size: 4K iterations: 38191 speed: 9547 KB/s
    FSPEED: chunk size: 8K iterations: 19828 speed: 9914 KB/s
    FSPEED: chunk size: 16K iterations: 10115 speed: 10115 KB/s
    FSPEED: chunk size: 32K iterations: 5108 speed: 10216 KB/s
    FSPEED: chunk size: 64K iterations: 2561 speed: 10244 KB/s
    FSPEED: chunk size: 128K iterations: 1288 speed: 10304 KB/s
    FSPEED: chunk size: 256K iterations: 645 speed: 10320 KB/s
    FSPEED: chunk size: 512K iterations: 323 speed: 10336 KB/s
    FSPEED: chunk size: 1M iterations: 162 speed: 10368 KB/s
    FSPEED: chunk size: 2M iterations: 81 speed: 10368 KB/s
    FSPEED: chunk size: 4M iterations: 41 speed: 10496 KB/s
    FSPEED: chunk size: 8M iterations: 21 speed: 10752 KB/s
    FSPEED: chunk size: 16M iterations: 11 speed: 11264 KB/s
    FSPEED: chunk size: 32M iterations: 6 speed: 12288 KB/s
    FSPEED: chunk size: 64M iterations: 3 speed: 12288 KB/s
    В режиме SATA IDE, на синем экране опция B отключена, диск виден как /hd, тест файла размером 207MB:
    Spoiler:FSPEED: chunk size: 512 iterations: 350622 speed: 10956 KB/s
    FSPEED: chunk size: 1K iterations: 238905 speed: 14931 KB/s
    FSPEED: chunk size: 2K iterations: 145821 speed: 18227 KB/s
    FSPEED: chunk size: 4K iterations: 81765 speed: 20441 KB/s
    FSPEED: chunk size: 8K iterations: 43475 speed: 21737 KB/s
    FSPEED: chunk size: 16K iterations: 22455 speed: 22455 KB/s
    FSPEED: chunk size: 32K iterations: 11415 speed: 22830 KB/s
    FSPEED: chunk size: 64K iterations: 5745 speed: 22980 KB/s
    FSPEED: chunk size: 128K iterations: 2888 speed: 23104 KB/s
    FSPEED: chunk size: 256K iterations: 1446 speed: 23136 KB/s
    FSPEED: chunk size: 512K iterations: 723 speed: 23136 KB/s
    FSPEED: chunk size: 1M iterations: 362 speed: 23168 KB/s
    FSPEED: chunk size: 2M iterations: 181 speed: 23168 KB/s
    FSPEED: chunk size: 4M iterations: 91 speed: 23296 KB/s
    FSPEED: chunk size: 8M iterations: 46 speed: 23552 KB/s
    FSPEED: chunk size: 16M iterations: 23 speed: 23552 KB/s
    FSPEED: chunk size: 32M iterations: 12 speed: 24576 KB/s
    FSPEED: chunk size: 64M iterations: 6 speed: 24576 KB/s
    То же, тест файла размером 471MB:
    Spoiler:FSPEED: chunk size: 512 iterations: 335709 speed: 10490 KB/s
    FSPEED: chunk size: 1K iterations: 227402 speed: 14212 KB/s
    FSPEED: chunk size: 2K iterations: 137998 speed: 17249 KB/s
    FSPEED: chunk size: 4K iterations: 77325 speed: 19331 KB/s
    FSPEED: chunk size: 8K iterations: 41146 speed: 20573 KB/s
    FSPEED: chunk size: 16K iterations: 21273 speed: 21273 KB/s
    FSPEED: chunk size: 32K iterations: 10829 speed: 21658 KB/s
    FSPEED: chunk size: 64K iterations: 5460 speed: 21840 KB/s
    FSPEED: chunk size: 128K iterations: 2741 speed: 21928 KB/s
    FSPEED: chunk size: 256K iterations: 1370 speed: 21920 KB/s
    FSPEED: chunk size: 512K iterations: 687 speed: 21984 KB/s
    FSPEED: chunk size: 1M iterations: 344 speed: 22016 KB/s
    FSPEED: chunk size: 2M iterations: 172 speed: 22016 KB/s
    FSPEED: chunk size: 4M iterations: 80 speed: 20480 KB/s
    FSPEED: chunk size: 8M iterations: 43 speed: 22016 KB/s
    FSPEED: chunk size: 16M iterations: 21 speed: 21504 KB/s
    FSPEED: chunk size: 32M iterations: 11 speed: 22528 KB/s
    FSPEED: chunk size: 64M iterations: 5 speed: 20480 KB/s
    Выводы:
    1) Нативный драйвер SATA IDE Колибри быстрее, чем AHCI костыль BIOS (ну, это и ожидалось).
    2) Почему-то, если файл больше размером, то скорость слегка ниже (а вот это непонятно, почему вообще скорость зависит от размера файла).
  • yogev_ezra wrote:Тогда результаты твоего теста - полная фигня.
    Ты когда фильмы копируешь со своего харда на флешку, чтобы отдать другу, тоже один и тот же фильм 2 раза копируешь, потому что второй раз быстрее (из кэша)?
    1) Он исправил второй вариант теста, на правильный.
    2) Ты опять путаешь чтение с копированием. При копировании скорость снижается из-за ряда вспомогательных операций, плюс ограничение скорости записи срабатывает. Плюс мы тут линейную скорость чтения по сути меряем, а в реальной жизни система так разогнаться не успевает зачастую, потому отставание в реальной жизни у Колибри меньше от больших система, чем в условиях идеального теста.
    yogev_ezra wrote:Почему-то, если файл больше размером, то скорость слегка ниже (а вот это непонятно, почему вообще скорость зависит от размера файла).
    Как раз ничего удивительного. Кэш Колибри (если Clever Mouse не меняла реализацию) состоит из двух областей: служебных данных файловой системы и области непосредственных данных файлов. Обе области ограничены размером в 1 МБ из-за алгоритма посекторного кэширования. На большом файле служебная область быстрее исчерпывается и головкам жесткого диска приходится возвращаться к служебной области на самом диске, что выливается в провал скорости.
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • SVN r.4836 - добавил программу в ночную сборку.
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Serge wrote:
    Mario_r4 wrote:Если скорректировать алгоритм, то значения могут быть не такими разгромными. :-)
    Сильно зависит от размера кеша файловой системы.
    Исправленная версия. Поддерживает файлы размером более 4ГБ.
    Win 7 ST3320620AS AHCI FAT32
    Spoiler:file size is 193341440
    chunk 512 iterations 16325169 speed 510161 KB/s
    chunk 1 KB iterations 14748723 speed 921795 KB/s
    chunk 2 KB iterations 12251556 speed 1531444 KB/s
    chunk 4 KB iterations 9210707 speed 2302676 KB/s
    chunk 8 KB iterations 6378731 speed 3189365 KB/s
    chunk 16 KB iterations 3807628 speed 3807628 KB/s
    chunk 32 KB iterations 2206225 speed 4412450 KB/s
    chunk 64 KB iterations 1158347 speed 4633388 KB/s
    chunk 128 KB iterations 579191 speed 4633528 KB/s
    chunk 256 KB iterations 284834 speed 4557344 KB/s
    chunk 512 KB iterations 143511 speed 4592352 KB/s
    chunk 1 MB iterations 71076 speed 4548864 KB/s
    chunk 2 MB iterations 34383 speed 4401024 KB/s
    chunk 4 MB iterations 14279 speed 3655424 KB/s
    chunk 8 MB iterations 6820 speed 3491840 KB/s
    chunk 16 MB iterations 3420 speed 3502080 KB/s
    chunk 32 MB iterations 1713 speed 3508224 KB/s
    chunk 64 MB iterations 851 speed 3485696 KB/s
    Что то ты где то напортачил с кодом. Я запускал целых три утилиты: CHDDSPEED, DiskBench и CrystalDiskMark30, но ни одна из них не показала результат более 100 MB/s

    Вот к примеру результаты для CrystalDiskMark30:
    Spoiler:

    Code: Select all

    -----------------------------------------------------------------------
    CrystalDiskMark 3.0.3 x64 (C) 2007-2013 hiyohiyo
                               Crystal Dew World : http://crystalmark.info/
    -----------------------------------------------------------------------
    * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
    
               Sequential Read :    97.198 MB/s
              Sequential Write :    96.050 MB/s
             Random Read 512KB :    30.233 MB/s
            Random Write 512KB :    42.953 MB/s
        Random Read 4KB (QD=1) :     0.373 MB/s [    91.0 IOPS]
       Random Write 4KB (QD=1) :     0.736 MB/s [   179.6 IOPS]
       Random Read 4KB (QD=32) :     0.891 MB/s [   217.6 IOPS]
      Random Write 4KB (QD=32) :     0.663 MB/s [   161.9 IOPS]
    
      Test : 1000 MB [C: 36.5% (53.6/146.7 GB)] (x5)
      Date : 2014/04/15 4:26:42
        OS : Windows 7 Home Premium SP1 [6.1 Build 7601] (x64)
    Вот результаты DiskBench
    Spoiler:Размер блока 32 MB

    Code: Select all

    Read File Bench started...
    Read file: E:\Video\House\House.M.D.s07e13.rus.720p.LostFilm.TV.mkv
      Size: 1589492255 bytes
      Time: 21735 ms
      Transfer Rate: 69,743 MB/s
    
    Read File Bench ended
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Чтобы окончательно расставить все точки над Ё, я решил протестировать на самом быстром устройстве которое есть в Колибри - на рамдиске.
    Комп самый быстрый из моих - DELL Inspiron.
    Я создал /tmp1/1/ (512 МБ и Fat32) и скопировал туда видеофайл на 432 МБ. И шоб вы думали?
    Spoiler:FSPEED: target file /tmp1/1/House.S08E22.rus.LostFilm.TV.avi
    FSPEED: chunk size: 512 iterations: 68043 speed: 2126 KB/s
    FSPEED: chunk size: 1K iterations: 48131 speed: 3008 KB/s
    FSPEED: chunk size: 2K iterations: 34039 speed: 4254 KB/s
    FSPEED: chunk size: 4K iterations: 24072 speed: 6018 KB/s
    FSPEED: chunk size: 8K iterations: 17021 speed: 8510 KB/s
    FSPEED: chunk size: 16K iterations: 12033 speed: 12033 KB/s
    FSPEED: chunk size: 32K iterations: 8505 speed: 17010 KB/s
    FSPEED: chunk size: 64K iterations: 6006 speed: 24024 KB/s
    FSPEED: chunk size: 128K iterations: 5892 speed: 47136 KB/s
    FSPEED: chunk size: 256K iterations: 5142 speed: 82272 KB/s
    FSPEED: chunk size: 512K iterations: 5059 speed: 161888 KB/s
    FSPEED: chunk size: 1M iterations: 4680 speed: 37376 KB/s
    FSPEED: chunk size: 2M iterations: 4005 speed: 250496 KB/s
    FSPEED: chunk size: 4M iterations: 3217 speed: 37120 KB/s
    FSPEED: chunk size: 8M iterations: 2323 speed: 140800 KB/s
    FSPEED: chunk size: 16M iterations: 1500 speed: 225280 KB/s
    FSPEED: chunk size: 32M iterations: 882 speed: 233472 KB/s
    FSPEED: chunk size: 64M iterations: 466 speed: 73728 KB/s
    "Необъяснимые" провалы в производительности на размерах блоков 1 МБ, 4 МБ и 64 МБ, а также на всех блоках меньше 64 КБ производительность также просаживается, хотя казалось бы на рамдиске в первую очередь работаем с маленькими файлами.

    Подивившись на такой результат решил проверить чтение этого же файла с жесткого диска (SATA IDE NTFS):
    Spoiler:FSPEED: target file /hd0/3/Video/House/House.S08E22.rus.LostFilm.TV.avi
    FSPEED: chunk size: 512 iterations: 656417 speed: 20513 KB/s
    FSPEED: chunk size: 1K iterations: 464048 speed: 29003 KB/s
    FSPEED: chunk size: 2K iterations: 289068 speed: 36133 KB/s
    FSPEED: chunk size: 4K iterations: 165646 speed: 41411 KB/s
    FSPEED: chunk size: 8K iterations: 88435 speed: 44217 KB/s
    FSPEED: chunk size: 16K iterations: 46147 speed: 46147 KB/s
    FSPEED: chunk size: 32K iterations: 23585 speed: 47170 KB/s
    FSPEED: chunk size: 64K iterations: 11956 speed: 47824 KB/s
    FSPEED: chunk size: 128K iterations: 6018 speed: 48144 KB/s
    FSPEED: chunk size: 256K iterations: 2789 speed: 44624 KB/s
    FSPEED: chunk size: 512K iterations: 1079 speed: 34528 KB/s
    FSPEED: chunk size: 1M iterations: 539 speed: 34496 KB/s
    FSPEED: chunk size: 2M iterations: 269 speed: 34432 KB/s
    FSPEED: chunk size: 4M iterations: 135 speed: 34560 KB/s
    FSPEED: chunk size: 8M iterations: 68 speed: 34816 KB/s
    FSPEED: chunk size: 16M iterations: 34 speed: 34816 KB/s
    FSPEED: chunk size: 32M iterations: 17 speed: 34816 KB/s
    FSPEED: chunk size: 64M iterations: 9 speed: 36864 KB/s
    Результаты с прошлого раза практически не менялись.

    З.Ы. Я использовал ночную сборку 4836, которая теперь содержит FSPEED.
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Mario_r4 wrote: FSPEED: chunk size: 1M iterations: 4680 speed: 37376 KB/s

    "Необъяснимые" провалы в производительности на размерах блоков 1 МБ, 4 МБ и 64 МБ, а также на всех блоках меньше 64 КБ производительность также просаживается, хотя казалось бы на рамдиске в первую очередь работаем с маленькими файлами.
    4680 * 1024 / 16 = 299520

    У тебя при вычислении скорости происходит переполнение.
  • akron1 wrote:
    Mario_r4 wrote: FSPEED: chunk size: 1M iterations: 4680 speed: 37376 KB/s

    "Необъяснимые" провалы в производительности на размерах блоков 1 МБ, 4 МБ и 64 МБ, а также на всех блоках меньше 64 КБ производительность также просаживается, хотя казалось бы на рамдиске в первую очередь работаем с маленькими файлами.
    4680 * 1024 / 16 = 299520

    У тебя при вычислении скорости происходит переполнение.
    А ведь верно, ночью спать нужно. :-)
    Всем чмоки в этом проекте! Засуньте эти 11 лет себе в жопу!
  • Mario_r4
    yogev_ezra
    Результаты в Линукс и Вин7 нормальные. Это тест не производительности диска, а всей файловой системы. А у больших систем большие файловые кеши.
    file size is 193 341 440
    chunk 512 iterations 16325169 speed 510161 KB/s
    Считаем 16 325 169 * 512 = 8 358 486 528 байт. Файл был считан полностью 43 раза. Один раз с диска и 42 из файлового кеша.

    file size is 18 268 713 165
    chunk 512 iterations 7479673 speed 233739 KB/s
    Считано 7479673 * 512 = 3 829 592 576 байт. Это меньше размера файла , но часть данных всё равно кешируется
    chunk 256 KB iterations 33205 speed 531280 KB/s
    33205 * 256 *1024 = 8 704 491 520 при этом в кеше сидит 6ГБ.
    Spoiler:chunk 1 KB iterations 6300735 speed 393795 KB/s
    chunk 2 KB iterations 4205889 speed 525736 KB/s
    chunk 4 KB iterations 196111 speed 49027 KB/s
    chunk 8 KB iterations 251366 speed 125683 KB/s
    chunk 16 KB iterations 287730 speed 287730 KB/s
    chunk 32 KB iterations 230356 speed 460712 KB/s
    chunk 64 KB iterations 46350 speed 185400 KB/s
    chunk 128 KB iterations 45287 speed 362296 KB/s
    chunk 256 KB iterations 33205 speed 531280 KB/s
    chunk 512 KB iterations 5804 speed 185728 KB/s
    chunk 1 MB iterations 5699 speed 364736 KB/s
    chunk 2 MB iterations 4179 speed 534912 KB/s
    chunk 4 MB iterations 707 speed 180992 KB/s
    chunk 8 MB iterations 691 speed 353792 KB/s
    chunk 16 MB iterations 500 speed 512000 KB/s
    chunk 32 MB iterations 85 speed 174080 KB/s
    chunk 64 MB iterations 83 speed 339968 KB/s
    Attachments
    memory.png
    memory.png (5.71 KiB)
    Viewed 6575 times
  • Who is online

    Users browsing this forum: No registered users and 4 guests