Powiernikiem kompleksu był ówczesny hrabia Werdensberg. Ze względów bezpieczeństwa Johann sprzedał zamek hrabiemu Endresowi von Sonnenbergowi. W 1503 właścicielem był Johannes Werner Młodszy. W 1513 wybuchł spór między braćmi Zimmern. Gottfried von Zimmern w końcu przejął Wildenstein. Johann ustąpił w 1514 i przekazał zamek oraz okoliczne posiadłości bratu. Gottfried Werner rozbudował kaplicę w latach 1536–1537. W 1594 rodzina Zimmern wygasła na Wilhelmie, ostatnim męskim przedstawicielu. Jego siostry sprzedały Wildenstein za 400 000 guldenów hrabiom Helfenstein-Gundelfingen, którzy w 1615 mianowali Johanna Heinischa na stanowisko zarządcy. W 1627 zmarł Georg Wilhelm Helfenstein, który przekazał kompleks swojej żonie Johannie Eleonorze. Ona, poprzez małżeństwo, oddała go hrabiemu Wratislausowi I von Fürstenberg. Podczas wojny trzydziestoletniej (1618–1648) zamek był broniony przez dowódcę Junkera Rosenfelda oraz czterech muszkieterów. Podczas wojny o sukcesję palatynacką hrabia Ferdinand von Fürstenberg przekazał rozkaz swojemu zarządcy, Peterowi Friedbergerowi, aby przekazał kompleks wojskom cesarskim. 28 października 1688 na zamku stacjonowało 30 mężczyzn.