New format for CD/GD images

[SWAT]

Назрела необходимость в создании нового формата для образов, поэтому решил создать эту тему для обсуждения его спецификаций.

Что нам необходимо иметь:

1. Один файл для всех треков, размер сектора 2048 для данных
2. Усечение пустого пространства
3. TOC из исходного образа
4. Компрессия для SD (не нужно?)
5. Разделенные на каналы CDDA треки формата PCM/ADPCM
6. Встроенные модификаторы:
   а) Набор HEX патчей для игры, с возможностью активациии перед запуском
   б) Переключение формата CDDA треков (не нужно?)
   

Любые предложения приветствуются.

English version
There is a need to create a new format for images, so I decided to create this topic to discuss its specifications.

What we need to have:

1. One file for all tracks, sector size 2048 for data
2. Truncation of empty space
3. TOC from source image
4. Compression for SD (not needed?)
5. Channelized CDDA PCM/ADPCM tracks
6. Built-in modifiers:
   a) A set of HEX patches for game, with the ability to activate before starting
   b) Switching CDDA tracks format (not needed?)
   

Any suggestions are welcome.

[alex]

MAME *.CHD ???

[PVS]

На SD у себя всегда проверяю, если cso не вредит скорости и не дает ошибок - всегда оставляю cso, почему нет, там размер иногда в 3 раза меньше. Потому, я за компрессию, но если она будет мешать размерам загрузчиков и пр. совместимости - то можно и без неё тогда, конечно. ISO останется хоть, или нет? Я как-то только iso/cso на SD и использую только, gdi совсем нет.

[aldair]

working cdda in neo4all and homebrews, will increase number of games.
Channelized CDDA PCM/ADPCM tracks

[zona]

If build in A set of HEX patches, it must be match the loader,right? If that were so,then a info to improve compatibility or something to make it more easier to expand maybe better.

[SWAT]

(18.03.2019 20:49)alex писал(а):  MAME *.CHD ???

Хорошая попытка Но этот формат мало чем нам может помочь. Только что в одном файле все, но этого не достаточно. Да там есть компрессия, но ее дорабатывать все равно придется, так как нету поддержки LZO, которая используется в CSO. Да и хэдер громоздкий у него (всякие хэши там), для загрузчика не годится. В общем толку мало, только если как за основу его взять можно, но обратной совместимости все равно не получится, так что смысла нет особого.

(19.03.2019 00:56)PVS писал(а):  На SD у себя всегда проверяю, если cso не вредит скорости и не дает ошибок - всегда оставляю cso, почему нет, там размер иногда в 3 раза меньше. Потому, я за компрессию, но если она будет мешать размерам загрузчиков и пр. совместимости - то можно и без неё тогда, конечно. ISO останется хоть, или нет? Я как-то только iso/cso на SD и использую только, gdi совсем нет.

Для SD компрессия хороша тем, что в некоторых случаях заметно ускоряет загрузку (особенно моделей, анимации и возможно текстур). Экономия места это второстепенный бонус.
Единственно что было бы не плохо доработать, так это чтобы не сжимались медиа файлы (видео, музыка), так как это наоборот немного замедляет загрузку ибо они и так сжаты кодеками.
Это как раз можно было бы реализовать в новом формате, может не сразу, но все же.
Поддержка ISO и GDI образов конечно же останется, новый формат просто добавится к существующим. Возможно не будет поддержки CDI, но это не точно
Но мне бы хотелось избавится от CDI, хотя я понимаю что для homebrew по крайне мере это иногда бывает удобным. В общем будет видно по ходу дела.

(19.03.2019 04:00)zona писал(а):  If build in A set of HEX patches, it must be match the loader,right? If that were so,then a info to improve compatibility or something to make it more easier to expand maybe better.

I mean patches for games. Widescreen mode for example.

(19.03.2019 02:32)aldair писал(а):  working cdda in neo4all and homebrews, will increase number of games.
Channelized CDDA PCM/ADPCM tracks

Channelized CDDA tracks will increase compability for KATANA games not homebrew.
To emulate CDDA in homebrew needs another work, but it helps too.

[PVS]

Я то думал, что cso - это всегда затратно по времени и процессору на постоянную декомпрессию, а оно у тебя наоборот - даже что-то ускоряет, во дела! Я вот точно не знаю, SWAT, это же ты этот формат сжатия сделал или нет? Если сейчас для cso плохое - это сжатие медиа - то да, было бы здорово это доработать. А меньший размер это хороший второстепенный бонус, как ты говоришь, меньший размер и при этом быстрее работа - вот, как надо делать! хе-хе

[SWAT]

(20.03.2019 01:53)PVS писал(а):  Я то думал, что cso - это всегда затратно по времени и процессору на постоянную декомпрессию, а оно у тебя наоборот - даже что-то ускоряет, во дела! Я вот точно не знаю, SWAT, это же ты этот формат сжатия сделал или нет? Если сейчас для cso плохое - это сжатие медиа - то да, было бы здорово это доработать. А меньший размер это хороший второстепенный бонус, как ты говоришь, меньший размер и при этом быстрее работа - вот, как надо делать! хе-хе

Это затратно если использовать на IDE, поэтому я выкинул поддержку CSO из этого загрузчика для экономии памяти. Но на SD эти затраты окупаются скоростью чтения, так как само чтение весьма медленно и что не мало важно - процессорное. Т.е. для чтения данных процессор используется полностью, а декомпрессия происходит гораздо быстрее чтения в данном случае. Поэтому если данные хорошо сжимаемы, допустим в 2 раза, то прочитаются с SD они в 2 раза быстрее, а распакуются со скоростью загрузки с IDE (ну примерно, я не замерял точно), т.е. выигрыш в скорости итоговой будет процентов 20-40%. Но вот если данные вообще не сжимаются (ну т.е. уже сжаты кодеками), то тут наоборот небольшой регресс идет, так как читается столько же, но еще и распаковывается потом.
Хочешь ощутить разницу на примере, да так чтобы не ошибиться, попробуй запустить TXR2 с компрессией и без. Начальная загрузка до стартового меню будет отличаться заметно. Ну а вообще там есть куда еще расти, можно выжать из этого варианта еще чуть больше. При чтении сжатого образа эмуляция асихнрона работает заметно хуже сейчас, а она в свою очередь немного улучшает ситуацию в играх с подгрузками во время геймплея. В идеале нужно доработать чтение сжатых образов так, чтобы была полная эмуляция асинхрона, как на ISO и оптимизированных GDI. Именно поэтому они предпочтительнее в таких играх сейчас, хотя могло бы быть иначе как раз.

Ну а сам формат CSO (CISO) придумал не я, он использовался в загрузчике для PSP. Я его просто доработал, добавил туда поддержку LZO компрессии (и назвал его ZISO), так как там была ZLIB компрессия изначально.
Модуль isofs для ядра DS к слову поддерживает оба варианта компрессии, но загрузчик поддерживает только LZO, так как ZLIB очень прожорлив по памяти.
Для PSP были утилиты которые жмут образ выборочно, т.е. не жмут медиа внутри них, но они не поддерживают мой формат (ZISO) поэтому использовать их не получалось. Хотя может что-то уже поменялось в этом вопросе, я не интересовался, прошло уже много лет. Я же просто доработал консольную версию утилиты для сжатия образов, но там такого функционала не было.

[kof888]

Can we read the custom 1st file before running the game?

[SWAT]

(21.03.2019 17:15)kof888 писал(а):  Can we read the custom 1st file before running the game?

Where and for what?