Avant d'être un établissement d'enseignement, Fénelon fut un château ou plutôt des châteaux. Il est difficile de dire quand pour la 1ère fois une  bâtisse vue le jour sur l'actuel site. En revanche, nous avons des certitudes quant à la possession des terres de Vaujours à partir du VIIIème siècle et de l'existence d'une forteresse. Durant les siècles suivants, les travaux vont se succéder. Le château devient une « propriété de campagne ». La partie centrale de ce château seigneurial correspond approximativement à celle de maintenant.
 
La Révolution française fut souvent un tournant dans l'histoire des familles et de leurs propriétés, or ici point de confiscation ou de guillotine. Le propriétaire de l'époque étant même élu et réélu maire de 1801 à 1821 (année de sa mort) son fils lui succède dans cette fonction jusqu'en 1830.

1841 est une année charnière pour le château. Le propriétaire décide de le louer pour une somme modique à l'Abbé Dubeau (curé de la paroisse) qui souhaite y recevoir des enfants de la Région parisienne. Ainsi l'Abbé fonde la Société Fénelon la même année qui marque les grands débuts de l'accueil d'enfants dans les murs du château. Cet établissement se compose de deux parties, d'une part la crèche qui reçoit les enfants de la naissance à 2/3 ans. D'autre part, un asile qui reçoit les enfants jusqu'à l'âge de 7 ans qu'ils quittent pour entrer à l'école.

Devant l'afflux des demandes l'Abbé Dubbeau a besoin de lever des fonds. Pour se faire il lance une souscription permettant de devenir « propriétaire » de la Société Fénelon. L'objectif est de pouvoir accueillir les orphelins et les enfants jusqu'à l'âge de 16 ans afin de leur donner une éducation et un métier (serrurerie, menuiserie, boulangerie puis agriculture et horticulture). Peut-être le sait-on moins, l'établissement fut aussi un lieu de formation des instituteurs. A partir de 1845 l'établissement devient un véritable pensionnat accueillant 70 enfants (garçons et filles).

La semaine des élèves alterne entre instruction religieuse, enseignement, travaux des champs et temps de repos. Ce rythme n'a rien de très original dans la deuxième moitié du XIXème siècle, ce qui l'est plus c'est que l'asile-école Fénelon se veut un lieu d'accueil de la différence. Ainsi dès 1849 (sans doute jusqu'en 1875) les sourds et les muets sont admis dans l'école. Au-delà de l'enseignement qui était prodigué à ces élèves leur présence dénote d'une volonté de favoriser leur intégration dans la société.

1853 : la Société Fénelon obtient le statut « d'établissement d'utilité publique ».

1853 constitue un nouveau tournant. En effet, grâce à un emprunt, le bâtiment jusque là loué, devient propriété de l'association car la location n'assurait qu'une jouissance précaire. Ce changement est aussi motivé par le fait que la Société est récompensée par l'autorité publique en 1852 pour sa charité et son dévouement : la Société Fénelon obtient le statut « d'établissement d'utilité publique ».

L'enseignement dispensé dans l'asile-école et la qualité de l'école d'apprentissage étaient tels que lors de l'Exposition Universelle de 1862 à Londres et après une sélection par les membres de la commission française, l'asile-école fut invitée à y participer. Cette participation se solda par l'obtention d'une médaille d'honneur. L'école poursuit sa progression jusqu'en 1870 mais avec la guerre et pour les années qui suivirent, la situation fut plus difficile. En 1874 l'asile-école accueille 400 enfants, les ¾ sont des enfants du département de la Seine. Ils sont pour plus de la moitié des enfants d'ouvriers (pour les autres : de domestiques, d'employés ou de petits commerçant), 10% des élèves sont des orphelins.

L'année 1875 voit l'asile-école devenir l'École Fénelon. Mais elle correspond surtout à l'arrivée des Frères des Écoles Chrétiennes qui donnent une nouvelle impulsion à l'établissement. Les frères font réaliser de nombreux travaux (comme l'élévation du bâtiment Davillier en 1882). Toutefois, le nombre d'élèves évolue peu car la direction pense que le rendement intellectuel est favorisé par l'espace vital de chacun. Si l'école demeure un lieu ouvert à tous, l'afflux des demandes oblige les frères à faire une sélection. Autre changement : les vacances. Les frères vont en faire bénéficier les enfants comme tous les écoliers de France (chose que ne permettait pas l'ancienne structure).

A la fin du XIXème siècle une nouvelle souscription est lancée afin de financer la construction de bâtiment pour accueillir des apprentis au sein d'une section professionnelle horticole. Cette formation suscite un grand intérêt  (et une grande réussite aux examens).

La loi de séparation de l'Église et l'État de 1905, mais qui ne s'appliqua à l'établissement qu'en 1908 (par d'habiles négociations) oblige les frères à quitter les lieux. A partir de cette date l'école est dirigée par un laïc dont le premier travail est de recruter toute une équipe afin de compenser le départ des frères. Cette nouvelle équipe se pose en digne successeur des frères, l'école obtenant en 1912 le Prix Monthyon décerné par l'Académie Française grâce aux succès lors des examens. Ce Prix permet l'ouverture de 120 places supplémentaires. Mais le déclenchement de la Première Guerre mondiale sonne comme un coup d'arrêt.