ну смотрите
1. @Yoda прав про использование imagick, он весьма хорош
2. если ну совсем никак (а даже если и "как"), то для улучшения качества сделайте следующее
а) оригиналы картинок должны быть чистыми большого размера png-изображениями, а не пережатым уже трижды jpg
б) размеры изображений в настройках магазина и модулях выставляйте раза в 2 больше, чем вам кажется они должны быть
в) как следствие из предыдущего пункта, в css проставляйте желаемые размеры изображений вроде такого на примере картинки товара в списках
.product-thumb .image img {
max-width: XXXpx;
width: 100%;
height: auto;
}
где XXX = (реальная-ширина-тамбнейла)/2
а строго говоря, надо ровно наоборот - зная размер изображения, который вы хотите показать на сайте, множите его в 2 раза, результат указываете в настройках тамбнейлов, и естественно подготавливаете изображения не меньших размеров, чем указанные, а если будете их жать imagick-ом, то вообще хорошо