Après plusieurs essais infructueux à la fin du XVI^e siècle et au tout début du XVII^e siècle, c’est Henri IV qui octroie le droit aux Jésuites de créer un collège royal, le 7 août 1604, les lettres patentes intervenant au Présidial de Poitiers le 31 août de la même année.
Le 10 décembre 1605, l’Hôtel de Ville fait donation officielle aux Jésuites du collège Sainte-Marthe. Après quatre années dans le collège de Puygarreau, jusqu’en 1610, sous la direction du Père de Moussy, le collège Sainte-Marthe (Henri IV) renaît de ses ruines.
Tout au cours du siècle, le collège s'étend et, le 13 août 1687, le collège de Puygarreau (de l’autre côté de la rue) qui végétait depuis pas mal d’années à cause du prestige de son voisin devient annexe du collège Sainte-Marthe par sacrifice de messire Gilier en faveur des Jésuites. Les Jésuites fondent également le Collège Irlandais à l’extrémité de la rue de la Prévôté, en 1673, autre annexe du collège Sainte-Marthe.

Au passage de Louis XIV par Poitiers, le 8 janvier 1652, le titre de fondation royale est octroyé au collège Sainte-Marthe, d’où le nom de Collège Royal. En 1720, plus de 800 élèves fréquentent ces trois établissements.
Après les tracasseries dues à l’époque, les Pères Jésuites doivent quitter les trois collèges le 30 août 1762. Le Corps de ville prend possession des bâtiments le 2 septembre, et l’Université décrète qu’ils seraient employés au logement des officiers des troupes qui se trouveraient en garnison à Poitiers.