La sua costruzione risale probabilmente agli inizi dell'860 d.c. ad opera della famiglia Aldobrandeschi su preesistenti costruzioni di epoca longobarda. È il più antico palazzo extraurbano di governo presente in Italia e uno dei più antichi d’Europa. Gli Aldobrandeschi sopraelevarono di due piani il palazzo (fatto edificare molto probabilmente dal Marchese Ugo di Toscana tra il 970 e il 995 d.c.) costruendo le torri e le due cinte murarie merlate. Durante la dominazione senese ,avvenuta nel 1331 grazie a Guidoriccio da Fogliano, subì gli ultimi interventi. Nella seconda metà del’500 entrò a far parte del Granducato di Toscana.
Curiosità: Il Castello che è raffigurato in un affresco all’interno del Palazzo Pubblico di Siena e attribuibile a Simone Martini, secondo alcuni studiosi è proprio quello di Arcidosso.