Según una antigua leyenda, durante la ocupación musulmana, algunos cristianos cazorleños ocultaron una imagen de la Virgen en la Peña de los Halcones, para evitar que los infieles la profanaran. Siglos más tarde, un pastor que guardaba su rebaño, barruntando tormenta, se refugió en unas rocas cercanas a la Peña. Un rayo rasgó las piedras y el pastorcillo, aterrado, cayó de bruces. Cuando levantó la vista, la Virgen de rostro trigueño le miraba sonriente. Cerca de aquel lugar, los cazorleños levantaron una ermita y comenzaron a venerarla como Patrona con el Título de Ntra. Sra. de la Cabeza.
En un principio la Hermandad estaba esencialmente constituida por pastores y ganaderos, así como miembros del clero y de la nobleza. Entre estos últimos se distinguió en el SXVII, D. Sancho Fernández de Angulo, fundador de la ciudad de Nueva Barcelona en América.
Durante la Guerra de la Independencia, numerosas familias se refugiaron en la ermita, que fue incendiada por los franceses en septiembre de 1810. La efigie de Nuestra Señora se salvó, ocultada entre unos matorrales. En 1936 aquella imagen fue destruida, pero acabada la contienda civil D. Francisco Gomara realizó la preciosa talla actual a la que dio color negro, quizá pensado en la Virgen Morenita de Andujar. El tono oscuro no gustó al pueblo cuando la vio, por lo que fue devuelta a su autor exigiéndose el cambio de color.
En “ La Romería ”, el último domingo de Abril de cada año, se sube a la Virgen hasta el Santuario, y a la caída de la tarde, se baja a la parroquia, en donde permanece todo el mes de Mayo.
