Ahora parece que han cambiado esto, y han creado unas platillas en components/com_virtuemart/views/cart/tmpl/ con la finalidad (supongo) de permitir el override de estos ficheros desde nuestras propias plantillas, sin tener que modificar el core, protegiendo nuestros cambios ante futuras actualizaciones.

En concreto, el botón Continuar Comprando se encuentra en el fichero padded.php de este directorio, junto a otros ficheros.

En mi caso quiero que al hacer click en el botón Continuar Comprando desaparezca el popup suavemente y aparezca la páfina en la que estaba, sin más.

Para esto cambio la línea 23 del fichero components/com_virtuemart/views/cart/tmpl/padded.php:

echo '<a class="continue" href="' . $this->continue_link . '" >' 
      . JText::_('COM_VIRTUEMART_CONTINUE_SHOPPING') . '</a>';

Por:

echo '<a class="continue" onclick="jQuery(document).trigger(\'close.facebox\')">' 
      . JText::_('COM_VIRTUEMART_CONTINUE_SHOPPING') . '</a>'

Y con esto consigo el efecto que buscaba.