Les seigneurs de Wiltz appartiennent à la plus ancienne noblesse du pays, leur arbre généalogique remonte à la fin du onzième siècle. Les premiers d'entre eux portaient le titre de Châtelains d'Arlon, Wiltz était donc placée sous suzeraineté arlonnaise. Lors de la première croisade on retrouve les Seigneurs de Wiltz aux côtés de Godefroi de Bouillon. Amadeus de Wiltz fut un des invités de marque au mariage de la Comtesse Ermesinde avec Walram de Limbourg (1214).

Le plus ancien sceau conservé de la maison de Wiltz, apposé sur un document de l'époque de Walter III, date de 1256. Suite aux luttes pour la succession au sein de la maison de Limbourg, les Seigneurs de Wiltz s'allièrent à Henri VI, Comte de Worringen contre les Barbançons (1288). Cette bataille sanglante coûta la vie à nombre de chevaliers luxembourgeois et Walter IV de Wiltz finira au fond d'un cachot ennemi, non sans avoir réussi à blesser au bras le Comte de Brabant.

En 1437 Godart IV de Wiltz confirma les privilèges de la ville. Sous Hartard la maison de Wiltz fut élevée au rang de baronnie et en 1598 Jean V se prévalait du titre de " Baron de Wiltz ", Stadtbredimus, Buzy, Coseigneur de Clervaux, Conseiller du Roi d'Espagen, Capitaine et Prévôt de Thionville ". Son fils Jan VI accéda au titre de comte en 1629 et fut nommé Gouverneur du Duché de Limbourg en 1640.

En 1656 sa nièce Marie-Marguerite épousa le comte français Christophe de Custine d'Auflance. Après la mort de son oncle et de ses deux frères, elle prit la succession. Le dernier comte de Wiltz, Théodore François de Paule de Custine, quitta la ville en 1973 avant l'arrivée des troupes révolutionnaires françaises et mourut à Bamberg en 1799.

Tous ses biens furent confisqués au titre de biens nationaux et mis aux enchères publiques. A la lecture du testament en 1801, les descendants de la sœur du dernier comte, Marie-Thérèse Victoire de Custine et son époux Innocent-Marie Comte de Vassinhac d'Imécourt, firent valoir leurs droits à l'héritage de leur oncle. Après être resté propriété privée pendant plus d'un siècle et avoir servi de pensionnat aux Sœurs de la Doctrine Chrétienne (4), les bâtiments du château furent acquis par l'Etat luxembourgeois en 1951 pour y installer une maison de retraite.