Il ne s’agit pas d’un hommage direct que la Franc aurait voulu rendre au plus petit de ses pays voisins.
Le palais et le jardin doivent leur nom à François de Luxembourg, un duc, lointain descendant du premier comte du Grand-Duché. En 1581, il se fit construire un bel hôtel avec un parc de 8 ha, rue de Vaugirard, à Paris.
La reine mère Marie de Médicis, veuve d’Henri IV, eut un coup de coeur en voyant le palais du duc et le lui racheta en 1611. Elle voulait à tout prix fuir le palais du Louvre qu’elle trouvait trop sale.
Elle s’offrit aussi 16 ha supplémentaires alentour pour agrandir le parc. Ainsi acquis, ce patrimoine passa de main en main royale au fil du temps : le duc Gaston d’Orléans, Louis XIV, Louis XVI ou le comte de Provence, futur Louis XVIII…
Après la Révolution, le palais abrita successivement une prison, la préfecture de la Seine et finalement le Sénat de la Ve République. Son nom est sa seule constance : il a toujours conservé celui de son premier propriétaire.