En 1818, à quelques jours de Noël, 240 élèves sont logés provisoirement au Doyenné Saint-Hilaire, dans une maison située vis-à-vis de l’Hôtel-Dieu. Frère Fructueux en est le directeur.
Mars 1819 voit la cérémonie célébrant cette installation des Frères à Poitiers, à la Cathédrale, présidée par l’abbé Soyer, vicaire général.
Novembre 1819, une seconde école est érigée dans le quartier Saint-Hilaire. Devant le nombre croissant d’élèves un nouvel établissement est recherché. Un immeuble, bijou d’architecture de la Renaissance se trouvait à louer : c’était la maison des Veillechèze de la Mardière, dite hôtel de la Prévôté (ndlr : désormais Hôtel Fumé), dans la rue de la Prévôté. Installation le 25 mars 1821.
En 1841, le nombre d’élèves est de 900, un demi-pensionnat est ouvert et la création d'un pensionnat à l’étude. A la fondation du pensionnat, c’est Frère Stephanus qui dirige l’établissement. Les débuts sont modestes avec trois classes ouvertes dans le vieil hôtel de la Prévôté.
Frère Euthyme lui succède en 1844. Une nouvelle impulsion est donnée avec la construction de classes et dortoirs ; trois ans après le pensionnat compte sept classes et 243 élèves. Le frère Rufus le remplace de 1847 à 1860 : il fait construire deux corps de bâtiment, à droite et à gauche d’une statue de la vierge placée au sommet des terrasses servant de cour, débutent aussi les travaux d’une vaste construction au bas des cours, initialement prévue en salle, la chapelle y sera finalement installée.
Le frère Cyrus continuera l’oeuvre de Frère Rufus, de 1860 à 1874, avec pour principale oeuvre, la gestion du changement de lieu. En 1869, l’Institut se porte acquéreur de l’ancien lieu du collège Saint-Vincent-de-Paul, rue d’Orléans (qui deviendra rue du Pont-Neuf, puis rue Jean-Jaurès), dirigé par les prêtres du diocèse et, pendant un certain temps, par les Pères Jésuites. Il était alors provisoirement occupé par les Soeurs Hospitalières. Les travaux d’aménagement puis ceux du réfectoire débutèrent pendant la première année. Mais la guerre de 1870 vit l'institut mobilisé par l’armée de Chanzy. En mars 1871, les élèves purent y retourner. Une nouvelle acquisition, la maison Lecointre, agrandit encore ces lieux, puis la maison Delaunay en 1874. Le frère Domnion, second du frère Cyrus, le remplace après son départ pour Nantes. Malgré son jeune âge (40 ans) il ne restera que 6 ans à ce poste, avant de décéder d’une fluxion de poitrine en février 1880. Les élèves atteignaient alors le nombre de 320. Le frère Carolius, ancien sous-directeur monte donc en grade, et avec lui, de grands travaux se préparent : l’horloge, les nouvelles cours, le gymnase, la chapelle, le cabinet de physique, le musée, un dortoir pour les petits, les chambres des professeurs libres, l’infirmerie, la lingerie, la conciergerie... Le cinquantenaire du Pensionnat laisse place à un équipement de tout premier plan.
En 1900, Frère Jules, professeur de Première Classe, devient le nouveau directeur du Pensionnat Saint-Jean-Baptiste de la Salle.
En 1905, les Frères sont expulsés par la loi sur les Congrégations. Monsieur Fontant, président à partir de 1911, et l'abbé Braud, directeur à partir de 1912, permettront de sauver le collège qui retrouvera rapidement son expansion.