Еще в 9 веке на месте теперешнего Шильонского замка было возведено первое укрепление, из которого можно было наблюдать за дорогой, которая вела в Италию из города Аванш. Укрепление было в собственности у епископа Сион, который затем расширил замок, после чего здесь властвовали графы из Савойской династии и только в 13 веке Шильон обрел теперешний вид.

Несколько раз за свое существование, замок использовался в роли государственной тюрьмы. Здесь сидел известный заключенный Бонивар, являвшийся настоятелем церкви в Женеве. В городе он планировал провести реформацию, что очень не понравилось властям, и его отправили в тюрьму. На протяжении 4 лет он был прикован к одной из колонн замка. В 1536 году он был освобожден. Английский поэт Байрон, побывав здесь в 1816 году, написал поэму «Шильонский узник». Это сделало замок одним из популярнейших мест Швейцарии.

Прямо в скале здесь были вырублены подземелья арсенала для флота, а на колонне в подземелье, служившем камерой для Бонивара, Байрон вырезал свое имя. В большом зале замка можно увидеть красивый потолок и огромный камин. Здесь много красивой мебели и оловянной посуды, особое внимание привлекают дубовые колонны. На стенах Гербового зала располагаются гербы многих бернских чиновников. А в Праздничном зале в данный момент находится музей оружия.