Nous ne connaissons pas la date de construction de l’ermitage primitif, mais en raison de sa dédicace à San Sebastián, protecteur contre les maladies et les épidémies, et de son emplacement à l’extérieur des murs de la ville, on pense qu’il pourrait dater de l’époque Fernandine ou du dernier tiers du XIVe siècle, peu après l’arrivée de la peste noire dans la ville. Elle a servi d’église paroissiale de la ville jusqu’au milieu du XVIIe siècle, date à laquelle la rénovation de l’église actuelle a entraîné l’abandon progressif de ce bâtiment, auquel était annexé un cimetière. Nous pouvons souligner sa façade baroque à linteaux avec un fronton divisé par une niche flanquée de volutes, avec deux pinacles latéraux et un central, et un beffroi couronnant le tout.

Après avoir subi diverses vicissitudes historiques et avoir été utilisé comme école au début du XXe siècle, comme prison après la guerre civile et comme entrepôt de céréales par la suite, il a subi en 1973 sa dernière rénovation extérieure, au cours de laquelle il a acquis son image actuelle, et en 1992 sa dernière rénovation intérieure. Aujourd’hui, elle partage le nom de l’église avec Notre-Dame du Rosaire, patronne de la ville, dont elle abrite l’image.