Początkowo dzieło znajdowało się w prywatnej rezydencji Marii w Binche, gdzie zapoznał się z nim hiszpański dworzanin Vicente Alvárez, który w 1551 wspominał o dziele: "To był najlepszy obraz w całym zamku i w ogóle, sądzę, iż w całym świecie, bowiem widziałem wiele znamienitych dzieł jednak żadne nie dorównuje temu w prawdzie wobec natury i pobożności".
Alvárezowi towarzyszył przyszły król hiszpański Filip. Tenże przewiózł Zdjęcie z krzyża do Hiszpanii, początkowo umieszczając je we własnym zameczku myśliwskim El Pardo. Pod datą 15 kwietnia 1574 obraz został zapisany w inwentarzu klasztoru San Lorenzo de El Escorial, którego fundatorem był Filip II. "Wielki obraz, na którym namalowane jest Zdjęcie z Krzyża, z Maryją i ośmioma innymi postaciami . . przez rękę Maestre Rogier, który należał do królowej Marii"Powell,(2006) The Errant Image: Rogier van der Weyden's Deposition from the Cross and its Copies, p.552. W 1939 obraz został przeniesiony z Escorialu do madryckiego PradoMuseo del Prado, Catálogo de las pinturas, 1996, p. 448, Ministerio de Educación y Cultura, Madrid, .