A moins d'être bien au fait des fragilités et forces des pierres et de leurs composants en termes minéralogiques, il vaut mieux prendre des précautions si on veut les garder en bon état, donc éviter le gel (et l'humidité pour certaines).
Le mieux est de les rentrer pendant l'hiver. Et éviter les chocs de température trop brusques.
Mais évidemment ce n'est qu'un conseil, et certaines pierres, j'imagine, résistent très bien.