La presencia de peregrinos está perfectamente constatada desde la Edad Media, particularmente desde el siglo XIV. Así, en las indulgencias del Papa Clemente VII, en 1392, afirma que "a la Capilla de la Santa Cruz de dicho Real Castillo concurre gran cantidad de los mismos fieles que vienen de lejanas partes". En los siglos XV y XVI consta la existencia de tres hospitales que reservaban camas para peregrinos. Igualmente, podemos confirmar gran cantidad de testimonios de peregrinos, entre ellos, Fernando el Católico o San Juan de la Cruz.