Imponente struttura militare, situata nella parte estrema del paese fu eretto nel 1240 dall'allora conte di Vieste il normanno Roberto Drengot.
Vista la sua strategica posizione, fin dall'inizio fu insignito della dicitura di "regia fortezza", ricoprendo la funzione di difesa del Gargano.
Il castello e' a pianta triangolare, circondato da bastioni su tutti i lati e cinto da spesse mura che negli anni risultarono inespugnabili.
Durante le lotte tra il Papato e Federico II (1240), subi' da parte dei Veneziani, enormi danni.
Si racconta che lo stesso "Stupor Mundi" accorse a Vieste e si preoccupo' immediatamente di riedificarlo, di rinforzare le mura della citta' e di restaurare anche la Cattedrale.
Nel corso dei secoli il castello di Vieste fu oggetto della furia non solo della natura, che nel 1646 lo rase al suolo, ma anche dalla sete di conquista di Acmet Pascia' e Draguth Rais che vide il suo culmine nel massacro, mediante decapitazione, di oltre 500 viestani.
Altri danni li subi' all'alba del 24 maggio 1915, al momento dell'inizio delle ostilita' con l'Austria, quando fu cannoneggiato dal cacciatorpediniere Lika.
In seguito lo stesso cacciatorpediniere, insieme all'incrociatore Helgoland e i caccia Csepel e Tatra, rivolse i cannoni contro il cacciatorpediniere Turbine, accorso in aiuto di Vieste, affondandolo a poche miglia dalla citta'.
L'unicita' del castello di Vieste fu apprezzata dallo stesso imperatore Federico II di Svevia il quale lo volle onorare della sua presenza soggiornandovi in almeno due occasioni.