En el año 1640, se realizó, un censo en Lima, el cual arrojó una población de alrededor de 30 mil personas, de las cuales unas 20 mil eran esclavos traídos de las costas de África Occidental para realizar mayormente trabajos en el campo y en las haciendas fuera de la
capital.
Estaban dividos en castas de Congos, Mandingas, Bozales, Cambundas, Misangas, Mozambiques, Terranovas, Carabalíes, Lúcumos, Minas y Angolas; estos últimos estaban reunidos en cofradías que adoraban imágenes o santos de su devoción. Estos actos religiosos les recordaban su libertad y cantaban nostálgicamente en su lengua original canciones de sus antepasados, también se ocupaban de los enfermos y de brindar un entierro decente a sus miembros.
Por 1650, los negros angolas se agremiaron y constituyeron la cofradía en el barrio de Pachacamilla, en esta zona se ubican la iglesia y el monasterio de las Nazarenas y el local de la Hermandad del Señor de los Milagros de Nazarenas.
En la sede de la cofradía se levantaban grandes paredes de adobe y en una de éstas, levantada en un ambiente donde se reunían los negros a diario, un día de 1651 uno de los angolas plasmó la imagen de Cristo en la cruz, la imagen fue pintada al temple y fue hecha con un profundo sentimiento de fe y devoción a la altísima representación del Redentor.
El 13 de noviembre de 1655, a las 2:45 de la tarde, un devastador terremoto estremeció Lima y Callao que afectó seriamente la zona de Pachacamilla, las viviendas angolas se derrumbaron, todas las paredes del local de la cofradía se cayeron produciéndose entonces el milagro. El débil muro de adobes donde se erguía la imagen del Cristo crucificando quedó intacto, sin resquebrajamiento alguno.
Debido a los daños, la población angola se mudó a otro lugar dejando la pared intacta. Luego de la catástrofe, los limeños se entregaron a las plegarias, rogando que se produjera otro fenómeno de la misma naturaleza.
Pasaron quince años y un vecino de la parroquia de San Sebastián, Antonio León, encontró la imagen abandonada y comenzó a venerarla. Según los relatos de la época, León fue el primero que se preocupó por arreglar la ermita, sin imaginar que a partir de entonces crecería el culto y la devoción al Sagrado Cristo de Pachacamilla.
La valoración a la imagen se vio fortalecida por un hecho grandioso en la vida de Antonio León, pues según cuentan este padecía de constantes y espantosos dolores de cabeza debido a un tumor maligno que los médicos, hasta ese momento, no habrían logrado curar. Fue entonces cuando Antonio acudió a la imagen y postrándose frente a ella imploró al Cristo crucificado que remediara su mal, deseo que le fue concedido, acabando así su desesperado tormento.
Entre los creyentes predominaba la gente de color. Ellos fueron quienes iniciaron las reuniones los viernes en la noche. Alumbrados por las llamas de sus ceras, llevaban modestas flores para perfumar el ambiente con el sahumerio y entonaban fervorosas plegarias y cánticos al son de arpas, cajones y vihuelas (instrumento de cuerda, similar a una guitarra).
Ante la insistencia de las autoridades por hacer desaparecer la imagen, ya que congregaba cada vez más gente y causaba desorden, los fieles manifestaron su disgusto y protestaron con airadas voces y actitudes amenazantes. Las autoridades se enteran de los acontecimientos y mandan a revocar orden de borrar la imagen y acuerdan, más bien, que en ese lugar se le rindiera culto y veneración.
El 14 de setiembre de 1671, se ofició la primera misa ante el Cristo de Pachacamilla. A esta ceremonia asistió el Virrey Conde de Lemos y su esposa, entre otras autoridades. El Virrey personalmente rindió culto a la imagen y acordó con la autoridad eclesiástica que en definitiva se le venerase en el mismo lugar, para lo cual ordenó inmediatamente se levantara una ermita provisional.