A la nomination de Monseigneur Pie comme évêque de Poitiers, fin 1849, les catholiques de la région souhaitaient voir la création d’un collège libre, de préférence par les Pères Jésuites qui avaient laissé, des six années florissantes du Petit Séminaire de Montmorillon et de l’apostolat des Pères, un bel exemple de leurs capacités. Interdits d’enseigner et obligés de s’exiler, ils avaient dû partir à Brugelette en Belgique où de nombreux poitevins les suivirent.
Emmanuel de Curzon, père d’un de ces élèves exilés, achèta une propriété, en 1840, à l’angle des rues Neuve, des Carmélites et de la Mairie. Le projet échoua (par refus du Provinvial qui manquait de jésuites disponibles) et l’église du Gésu y fut implantée. Monseigneur Pie, lors de la visite de cette église, le 18 mai 1854, déclare « remettre dès la rentrée, le collège Saint-Vincent-de-Paul à la Compagnie si elle veut bien l’accepter. »
L'officialisation est rendue le 6 août avec date effective : la prochaine rentrée. Les Jésuites acceptant finalement suite à la fermeture du collège de Brugellete en Belgique. Certains éléments de ce collège belge intégreront d’ailleurs la cité poitevine, notamment les fameuses grilles qui orneront et délimiteront les cours pendant de nombreuses années, ou les dallages noirs des couloirs. Des dallages que l'on trouve d'ailleurs noirs ou clairs, selon que le passage y était autorisé aux élèves ou non. L’arrivée des Pères s’effectue le 14 août et la rentrée le 25 octobre 1854, mais cette date coïncidant avec le vendredi, jour de promenade, les classes ne débuteront que le lundi 27 octobre.
Pour pallier l’étroitesse des lieux, les petites classes rejoindront le Gésu (actuellement rue Boncenne) et prendront le nom de La Robette. Pas moins de 40 Pères Jésuites encadrent 155 élèves, dont 108 internes. On songe alors à bâtir Saint-Joseph. Il faudra six années et l’acquisition du collège des Filles de Saint-François pour la somme de 225.000 francs.

Le collège des soeurs de Saint-François
En 1630, les religieuses du Tiers-Ordre régulier Franciscain, du couvent de Mirebeau, envisagent de développer leur congrégation par l’acquisition de logements à Poitiers.
En 1633, un logement provisoire est créé dans les bâtiments de l’archidiaconé de Thouars (à l’angle de la place de la Cathédrale et de la rue de Saint-Maixent). Pierre Esvet, par un acte du 11 février 1636, achète, en leur nom, un jardin, un appentis et une petite maison, entre la rue des Quatre-Vents (rue des Feuillants) et la rue des Chamoiseurs (rue G. Servant), à un marchand, René Contencin.
Un agrandissement de la propriété sera réalisé le 30 janvier 1638, par l’achat " d’une grange, d’une chambre et logement, d’une étable et d’un jardin ". Après diverses acquisitions, le couvent atteignait la petite rue des Feuillants (rue du Pré l’Abbesse), et le Grand Chemin (boulevard de Lattre de Tassigny).
A la Révolution, il occupait sensiblement la surface maximale que connaîtra Saint-Joseph par la suite, hormis Chambourdon et la prairie. C’était surtout un ensemble totalement disparate qui sera en grande partie supprimé à la construction ultérieure du collège.
Les soeurs, chassées à la Révolution, n’occupant ni fonction hospitalière, ni fonction pédagogique, refusèrent cependant de quitter les lieux et se maintiendront jusqu’au 30 mars 1793.
Le couvent sera alors vendu comme bien national à Mignon, greffier de la police criminelle, puis revendu ensuite, et subdivisé. Les soeurs de cette congrégation tenteront encore d’ouvrir un pensionnat en 1797, puis en 1814 rue du Grand Séminaire (rue de l’Hôtel-Dieu, à l’emplacement de l’actuelle Faculté de Médecine), ancienne propriété des Feuillants, mais elles seront expulsées, ne pouvant payer. Ce sera aussi la fin de leur présence à Poitiers.

Construction du collège Saint-Joseph
L’entremise de M. Bain de la Cocquerie, ancien élève de Sainte-Anne d’Auray, permet d’acheter le vaste terrain des Filles de Saint-François, qui descendait en pente rapide vers le Pré-l’Abbesse et la vallée du Clain. Le Père Tournesac fut chargé de la construction.
Architecte de formation, puis prêtre et chanoine du diocèse du Mans avant d’entrer dans la Compagnie, il avait déjà fait le preuve de son talent. Il conçut un plan monumental, adapté aux exigences d’un édifice bâti à flanc de coteau. Pour assurer l’élégance d’une façade de 87 mètres de long et garder leur sveltesse aux fenêtres à meneaux, il amplifia la hauteur des quatre étages qui dominent majestueusement, du côté du boulevard, une haute terrasse. La première pierre fut posée par Mgr. Pie le 15 juin 1858.
Cette pierre était posée « dans l’angle gauche, côté intérieur du corridor, là ou tombe la corde de la grande roche », selon Marc de la Croix, enfant de choeur de cette cérémonie. Son texte fut longtemps exposé dans le couloir du Père Recteur.

Le 6 juillet 1860, les élèves prirent possession des classes à la suite de leur ancien collège de Saint-Vincent-de-Paul.
Le collège n’était encore constitué que du corps principal. La grande aile Nord et la plus petite, en retour parallèle de la façade étaient prévues, mais il faudra attendre 1864 pour voir ces constructions s’achever, et encore de façon incomplète puisque, si les dortoirs furent terminés d’aménager en octobre 1863, les pensionnaires logeant au Gésu pendant cet intervalle de temps, l’installation des Pères ne s’effectuera qu’encore plus tard, ils occupaient Chambourdon jusqu’alors, tandis que la chapelle définitive devra attendre encore un siècle, sans parler d’une entrée digne de ce nom encore plus longue à intervenir.
L’aile en retour fut bénite par le Père Provincial le 15 août 1864, permettant l’incorporation de tous dans les locaux. Le nombre des élèves connaîtra alors un essor croissant : 155 en 1854 (dont 108 pensionnaires), 300 en 1860, 400 en 1865, 421 en 1869 (dont 339 pensionnaires).
En 1881 les Jésuites sont interdits d’enseignement, les bâtiments sont achetés par une société d’anciens élèves, les cours et internats sont dispersés en cinq endroits.
En 1905 c’est la loi sur la séparation entre l’Eglise et l’Etat qui entraîne la prise en charge par une société civile.
Enfin, en 1955, les Jésuites se retirent totalement de l’enseignement à Poitiers.