New format for CD/GD images

[SWAT]

(20.03.2019 01:53)PVS писал(а):  Я то думал, что cso - это всегда затратно по времени и процессору на постоянную декомпрессию, а оно у тебя наоборот - даже что-то ускоряет, во дела! Я вот точно не знаю, SWAT, это же ты этот формат сжатия сделал или нет? Если сейчас для cso плохое - это сжатие медиа - то да, было бы здорово это доработать. А меньший размер это хороший второстепенный бонус, как ты говоришь, меньший размер и при этом быстрее работа - вот, как надо делать! хе-хе

Это затратно если использовать на IDE, поэтому я выкинул поддержку CSO из этого загрузчика для экономии памяти. Но на SD эти затраты окупаются скоростью чтения, так как само чтение весьма медленно и что не мало важно - процессорное. Т.е. для чтения данных процессор используется полностью, а декомпрессия происходит гораздо быстрее чтения в данном случае. Поэтому если данные хорошо сжимаемы, допустим в 2 раза, то прочитаются с SD они в 2 раза быстрее, а распакуются со скоростью загрузки с IDE (ну примерно, я не замерял точно), т.е. выигрыш в скорости итоговой будет процентов 20-40%. Но вот если данные вообще не сжимаются (ну т.е. уже сжаты кодеками), то тут наоборот небольшой регресс идет, так как читается столько же, но еще и распаковывается потом.
Хочешь ощутить разницу на примере, да так чтобы не ошибиться, попробуй запустить TXR2 с компрессией и без. Начальная загрузка до стартового меню будет отличаться заметно. Ну а вообще там есть куда еще расти, можно выжать из этого варианта еще чуть больше. При чтении сжатого образа эмуляция асихнрона работает заметно хуже сейчас, а она в свою очередь немного улучшает ситуацию в играх с подгрузками во время геймплея. В идеале нужно доработать чтение сжатых образов так, чтобы была полная эмуляция асинхрона, как на ISO и оптимизированных GDI. Именно поэтому они предпочтительнее в таких играх сейчас, хотя могло бы быть иначе как раз.

Ну а сам формат CSO (CISO) придумал не я, он использовался в загрузчике для PSP. Я его просто доработал, добавил туда поддержку LZO компрессии (и назвал его ZISO), так как там была ZLIB компрессия изначально.
Модуль isofs для ядра DS к слову поддерживает оба варианта компрессии, но загрузчик поддерживает только LZO, так как ZLIB очень прожорлив по памяти.
Для PSP были утилиты которые жмут образ выборочно, т.е. не жмут медиа внутри них, но они не поддерживают мой формат (ZISO) поэтому использовать их не получалось. Хотя может что-то уже поменялось в этом вопросе, я не интересовался, прошло уже много лет. Я же просто доработал консольную версию утилиты для сжатия образов, но там такого функционала не было.