Familia Talleyrand făcea parte din cea mai veche nobilime a Franţei. Jean Orieux arata ca filiaţia directa a Talleyranzilor cu conţii suverani de Perigord a fost stabilita începând cu anul 1475 prin patente regale. Părinţii lui Charles-Maurice, Charles-Daniel conte de Talleyrand-Perigord căsătorit la 16 ani cu Marie-Victoire-Eleonore de Damas d’Antigni, deşi ambii proveniţi din familii ilustre şi deţinători ai unor funcţii la curte, nu au avut venituri considerabile încă de la început. Aceştia au avut 4 copii dintre care primul a murit, urmatorul a fost Charles-Maurice, urmand Archamabaud si Boson.