En la zona más agreste de la localidad y lindando ya con Cachorrilla, a mediados del Siglo XVI, (1561) varias personas construyeron  unas cabañas toscas, bajo las que se agruparon con el nombre de "Ermitaños de San Pablo". En 1568, fueron incorporados a la Orden de Los Agustinos Descalzos, enmarcados en la Provincia de Castilla.

Tomás López, Geógrafo Real, aún los menciona, aunque refiere que "no prosperaron en tiempos posteriores", a los arriba citados. Pascual Madoz, lo llama "desierto de San Pablo" y lo cita como "un templecillo rodeado de jara, madroño, brezo y romero." El lugar acabó por abandonarse y las imágenes fueron retiradas y/o trasladadas a otras ermitas del Municip