Secondo lo storico L. Pepe, la costruzione della chiesa risale al 1561, al tempo del vescovo G. Carlo Bovio. Attualmente, alcuni storici, suffragati da nuovi rinvenimenti, ipotizzano che la chiesa e del 1531.
Fu edificata davanti ad una preesistente cripta basiliana, ma gli ultimi affreschi rinvenuti (1996-97) e lo stile di alcune decorazioni, fanno pensare che prima della costruzione dell’attuale chiesa già esistesse un avancorpo: una piccolissima chiesetta che aveva come altare quello che ora è nella grotta.
E’ il più antico santuario mariano ostunese ed il culto della Vergine, presso questa chiesetta, è stato sempre vivo nel corso dei secoli.
Nel XVIII sec., durante la peste che colpì anche la nostra cittadina, fu utilizzata come lazzaretto; meta di pellegrinaggio è stata durante l’ultimo conflitto mondiale. Genitori, mogli, fidanzate e figli vi si recavano portando foto dei parenti che erano in guerra e di cui non si avevano notizie da molto tempo, con la speranza di avere la “buona novella” riguardante i loro cari.
L’evento più importante che riguarda questa chiesa rupestre è soprattutto legato al tradizionale pellegrinaggio che si attua ancora oggi, nella domenica in “Albis”, cioè la seconda domenica dopo Pasqua.
Gli ostunesi si recano a rendere omaggio alla Madonna della “Buona Novella” partecipando alla tradizionale festa popolare detta della “Palomma”. Questo nome deriva dal dolce tipico che le nonne o le mamme preparano per questa occasione.
La “Palomma” ha la forma di una colomba appiattita da un lato, è fatta di pasta dolce nella quale vengono inserite delle uova ed è adornata da “anisini” (granelli di zucchero).
