Le village d’Avilley existait déjà au XIIe siècle. Il avait donné son nom à une illustre famille de franche-Comté dont la seigneurie dépendait alors de la prévôté de Montbozon et qui fit des dons importants à l’abbaye de Bellevaux.
De nombreux indices archéologiques attestent d’une présence humaine beaucoup plus tôt : à la grande Corvée près de la route de Cendrey, et surtout aux Chazeaux à l’ouest du village, des fondations, tuileaux et plâtres révèlent un habitat gallo-romain. D’autre part, de nombreux squelettes qui avaient les pieds tournés au levant, et étaient accompagnés de lances, coutelas de fer et boucles de ceinturon ont été mis à jours en 1870 en direction de Rognon. Ce cimetière est de l’époque burgonde (Ve siècle).
Le village se nommait Arevillers en 1150, Arviller en 1366, puis Aviley et Avilley par la suite.
L’origine de ces noms successifs semble être latine : Adrici Villa la ferme d’Adéric, Adéric étant un nom d’homme germanique qui a également donné son nom à Adrisans.
Selon d’autres auteurs, Avilley doit son nom aux pommes car en celtique Avil, Avilec, Aviley, signifiaient “abondant en pommes”.
La présence d’un château à Avilley est attestée pendant de nombreux siècles.
Tout d’abord, les d’Avilley avaient eu au village leur château féodal, entouré de douves ; leurs armes, qui définissent encore actuellement le blason officiel du village, étaient : « coupé d’argent et de gueules, l’argent chargé de trois pals de gueules ».
En 1478, jacques Mouchet, nouveau propriétaire fera construire au même emplacement un château toujours féodal et entouré de douves qui sera amélioré au XVIe siècle par les d’Achey et les Grammont. De ce château, ne subsistent que deux têtes grimaçantes et une niche, en pierre de taille, encastrées dans la façade d’une maison de la rue de Tallans, ainsi que la fontaine des cerfs, datée de 1633.
En 1773, le nouveau seigneur d’Avilley, Claude Louis Maximilien, libre baron d’lselin de Lasnans, décida de raser les ruines de ce château.
Le château que Maximilien fait construire était somptueux comme l’atteste le dessin original de la façade qui est encore conservé à la mairie. L’architecte bisontin Antoine Colombot en est à l’origine. Comme d’autres châteaux de l’époque, le château d’Avilley a été édifié sur le modèle du Palais des intendants du Comté à Besançon (actuelle Préfecture du Doubs).
Ce château était implanté sur un grand terrain, près du ruisseau, dans la partie basse d’Avilley. Ses dimensions étaient plus que respectables : 52 mètres de long et 19 mètres de haut, rez-de-chaussée pour les services, étage pour le logement du seigneur, et combles pour les domestiques et, à chaque fois, 13 fenêtres, rotonde au centre de la façade, et aux deux extrémités, deux avant corps formant pavillons et surmontés d’un dôme. La décoration était constituée de fleurs de lys, de lions et de L entrelacés des Lasnans.
Ce magnifique château n’eut pourtant qu’une courte vie, il sera rasé en 1793, suite à la révolution qui entraina la fuite du seigneur vers Fribourg ; les débris furent vendus comme biens nationaux. Les rapports de l’époque mentionnent que les villageois, qui ne souhaitaient pas voir le seigneur revenir, ainsi que les gens alentours venaient se servir à pleins chariots. La fontaine dite du Seigneur, probablement contemporaine de ce dernier château, existe toujours ainsi qu’un mur en pierre d’un côté de ce qu’il reste des écuries, aujourd’hui maisons d’habitation. Les panneaux hauts boisés de l’église sont séparés par des pilastres cannelés, percés de deux portes dont le fronton est orné de trophées militaires, tambours et drapeaux. Ils proviennent sans doute du château de Monsieur d’lselin, militaire dans l’âme.