Люди обратили внимание на это заповедное место очень давно, много тысячелетий тому назад. Высокий скалистый утес, омываемый водами Луары и впадающей в нее небольшой реки, обеспечивал надежное укрытие и защиту; без сомнения это место было обитаемым еще в эпоху неолита. Однако упоминание замка встречается только в текстах IX века.
С середины X века Блуа и его окрестности становятся владением могущественных феодалов - графов де Блуа, вассалов короля Франции, которые много раз переделывали укрепленный замок. От мощной крепости, воздвигнутой в XIII веке, сохранились лишь угловая башня, часть крепостной стены, отдельные башни, включенные в позднейшие постройки, а также большой зал графов де Блуа, предназначавшийся для собраний и празднеств.
В конце XIV века графство Блуа было продано принцу Людовику Орлеанскому, сыну французского короля Карла V. Это событие предопределит блестящее будущее города. Внук Людовика Орлеанского в 1498 году стал королем Франции под именем Людовика XII. Уроженец Блуа, Людовик XII решил обосновать здесь свою резиденцию. Небольшой город Блуа стал таким образом королевским городом и был столицей королевства в течение определенного отрезка XVI века. Такой выбор был прекрасно оправдан, так как и город, и его окрестности находились тогда в пышном расцвете, а население их было целиком и полностью предано герцогам Орлеанским, которые способствовали развитию этого района.
В XVIII веке замок Блуа был покинут королями. В нем нашли себе приют старые верные вассалы короля; он был разделен на небольшие жилые помещения и содержался в плачевном состоянии; сады также были раздроблены... В 1788 году Людовик XVI приказал продать замок или, за отсутствием покупателя, разрушить его. Спасло замок только его переоборудование в казарму.
Во время и после Революции некоторые памятники Блуа были повреждены и частично разрушены. Замок также пострадал от вандализма: все эмблемы и изображения, напоминавшие о королевской семье, были уничтожены. Печальная участь замка длилась всю первую половину XIX века. Он претерпел множество переделок во время военной оккупации, и лишь начиная с 1845 года архитектором Дюбаном была предпринята обширная реставрация.