Obiekt ufundowany przez króla z rodu Piastów Kazimierza III Wielkiego. Na podstawie źródeł pisanych, jak również badań archeologicznych jego powstanie datuje się na lata 1356 – 1366. Funkcja zamku była obrona komory celnej znajdującej się na brodzie pilickim. Pierwszym zanotowanym kasztelanem inowłodzkim był Piotr Tłuk ze Strykowa, jeden zaufanych urzędników króla Władysława Jagiełły. W 1393 roku Wł. Jagiełło wykupił go i ze względu na ważne położenie przywrócił mu własność królewską. Od 1515 roku zamek stał się własnością zamożnego polskiego rodu Drzewickich herbu Ciołek, którego najbardziej znanym przedstawicielem był Maciej Drzewicki. 
Zamek był czterokrotnie przebudowywany: na przełomie XIV i XV wieku, w pierwszej ćwierci XVI wieku, drugiej połowie XVI wieku i w połowie XVII wieku. Druga zasadnicza rozbudowa zamku przeprowadzona w latach 1521 – 1526 wiązała się prawdopodobnie z działalnością Adama Drzewickiego, brata Macieja. W połowie XVII wieku właścicielem została rodzina Lipskich herbu Łada. Od 1648 roku starostą inowłodzkim był dworzanin Jan Olbracht Lipski z Lipia, który rozpoczął ostatnią przebudowę przerwaną przez wojnę ze Szwecją. W Inowłodzu 9 września 1655 roku miało miejsce starcie wojsk polskich pod dowództwem Stefana Czarnieckiego z wojskiem szwedzkim, wygrane dla Polaków. W wyniku wojny w latach 1655 – 1657 zamek uległ zniszczeniu i przestała pełnić funkcje obronne, stopniowo niszczejąc i popadając w ruinę. Od czasów potopu szwedzkiego zamek nie był odbudowywany przez ponad 300 lat. W XIX wieku zniszczeń dopełniła rozbiórka murów oraz budynków zamkowych, które stały się źródłem kamienia dla okolicznej ludności. Od 2005 roku ruiny zostały objete planami odbudowy oraz rekonstrukcji. Prace miały miejsce w latach 2008 – 2012. W ramach inwestycji odbyła się konserwacja ruin zamku oraz częsciowa rekonstrukcja, a także adaptacja części możliwych do pozyskania pomieszczeń. W zamku swoją siedzibę mają Gminna Biblioteka Publiczna oraz Centrum Kultury w Inowłodzu.
źródło: Publikacja Gminy Inowłódz ” Inowłódz i okolice”