Pierwszy drewniano-ziemny gród został tu wzniesiony prawdopodobnie w połowie XIII wieku przez biskupów kujawskich. Miejsce pod budowę zostało wybrane bardzo dobrze - jest to cypel skarpy wcinającej się w dolinę Wisły wysoko górujący ponad okolicą. Gród przy drugim oblężeniu przez Krzyżaków w 1330 roku został zdobyty.

Nie wiadomo kiedy wzniesiono zamek, prawdopodobnie miało to miejsce niedługo po zniszczeniu grodu przez Krzyżaków, ponieważ biskupom zależało na posiadaniu niedaleko Włocławka swojej rezydencji.

Na pewno zamek wzniósł biskup Maciej z Gołańczy, który zmarł w 1364 roku. Początkowo był to tylko jeden budynek o trzech kondygnacjach i rozmiarach 12x25 metrów. Do 1383 roku został on powiększony do rozmiarów 17x25 metrów przez biskupa Zbyluta z Gołańczy, następcę Macieja. Wtedy też powstały obwodowe mury wzdłuż krawędzi zbocza. Podczas kolejnych rozbudów przy południowym odcinku murów powstały zabudowania gospodarcze, a w narożniku południowo-zachodnim biskup Jan Karnkowski wzniósł czworoboczną wieżę.

Zamek w okresie poprzedzającym wielką wojnę z zakonem krzyżackim był kilkukrotnie wykorzystywany do rokowań z Wielkimi Mistrzami. Przebywała tu Jadwiga i Władysław Jagiełło toczący rozmowy z Krzyżakami o zwrot ziem bobrzymskiej i dobrzyńskiej.

W latach 1582-1600 Hieronim Rozdrażewski rozbudował zamek oraz przekształcił wnętrza tak, że powstała późnorenesansowa obronna rezydencja. Podczas tej przebudowy wzniesiono przy suchej fosie, w pewnym oddaleniu na zachód od murów zamkowych, czworoboczną wieżę bramną.

Po zniszczeniach z drugiej połowy XVII wieku zamek został opuszczony, a pozostałości budynków gospodarczych rozebrane. W początkach XVIII wieku Felicjan K. Szaniawski wzniósł drewniany budynek poza terenem zamkowym, a w 1720 roku biskup Krzysztof Antoni Szembek wykorzystał zniszczone mury głównego budynku zamkowego do wzniesienia barokowego pałacu, do czego zatrudnił architekta Jana B. Cocchiego.

Po rozbiorze Polski zamek został przeznaczony do rozbiórki przez władze pruskie w 1804 roku. Zabudowania zostały zrujnowane przez rozbiórkę na materiał budowlany.

Pierwsze badania przeprowadzono tu w latach 1978-1985, po których zamek zabezpieczono jako trwałą ruinę.

Powstanie parafii Raciążek datowane jest już przed 1326 rokiem. Rozwój parafii ściśle związany był z dziejami miasteczka oraz zamku będącego rezydencją króla Władysława Jagiełły, królowej Jadwigi, a potem stanowiącego własność biskupów kujawskich. Z 1325-27 roku pochodzą pierwsze wzmianki o najstarszym kościele drewnianym zniszczonym przez Krzyżaków.

Kościół parafialny pod wezwaniem Wszystkich Świętych i Świętego Hieronima pochodzi z XVI wieku. Jego fundatorem jest biskup kujawsko-pomorski Hieronim Rozrażewski. Budowano go w latach 1597-1612. Budowę ukończył biskup Wawrzyniec Gembicki w 1612 roku, a konsekracji dokonał biskup Miaskowski Baltazar w 1627 roku. Jest on zbudowany w stylu późnogotyckim ze szczytami renesansowymi, orientowany (tzn. wzniesiony) wschód-zachód, murowany i opięty uskokowymi szkarpami, kryty dachówką. Prezbiterium kwadratowe z półokrągłą absydą. Od nawy głównej oddziela ją barokowy łuk tęczowy z Chrystusem na krzyżu i figurami świętych. Od północy zakrystia sklepiona krzyżowo. Szersza, prostokątna nawa z wieżą od zachodu i przybudówką od północy z roku 1924. Wnętrze kryte pierwotnie stropem, w roku 1924 przesklepione kolebką z lunetami. Tęcza z Chrystusem i figurami umieszczonymi nad splotem rzeźbionej winorośli w tylu barokowym z XVII wieku.

Ołtarz wielki pochodzi z XVI wieku i stanowi fundację biskupa Miaskowskiego. W głębi ołtarza znajduje się obraz malowany na desce, przedstawiający Chrystusa ukrzyżowanego oraz Najświętszą Marię Pannę i Marię Magdalenę, zaś pośrodku wizerunek klęczącego fundatora kościoła – biskupa H. Rozrażewskiego. Ołtarz zbudowany w stylu późnorenesansowym z drzewa modrzewiowego (renesans niemiecki). Stalle renesansowe pochodzą z 1630 roku, a odnowione zostały w 1865 roku. Obrazy w stallach i obraz Wszystkich Świętych na zasuwie przy głównym ołtarzu zostały namalowane w 1830 roku przez Adama Malinowskiego.

W prawej części kościoła znajduje się ołtarz barokowy z XVII wieku przedstawiający Matkę Bożą Śnieżną.

W lewej części świątyni usytuowany jest barokowy ołtarz z XVIII wieku, przedstawiający Świętego Józefa na łożu śmierci w srebrnych sukienkach rokokowych gdańskiej roboty z XVIII wieku.

Na ścianach świątyni znajdują się neorenesansowe płaskorzeźby z glinki terakotowej, przedstawiające czternaście stacji drogi krzyżowej.

Tęcza (zwana łukiem) łącząca dwa boczne ołtarze pochodzi z XVII wieku. W centrum grupa ukrzyżowania z XVIII wieku łączy święte osoby Starego i Nowego Testamentu (Abraham i Melchizedek).

 Ambona barokowa z XVIII wieku. Monstrancja rokokowa z około 1784 roku.  Ornat biały z kolumną haftowaną w przełomie XV/XVI wiek. Kilkanaście figur drewnianych z okresu XVI – XVII wiek.

Nad zakrystią znajduje się muzeum parafialne, w którego posiadaniu jest wiele ciekawych eksponatów. Jednym z najciekawszych jest gotycki ornat z białego adamaszku, na którym złotymi nićmi wyhaftowano wizerunek Matki Boskiej z Dzieciątkiem oraz świętych. Według legendy wyhaftowany przez królową Jadwigę.

W muzeum znajdują się także zbiory bibliofilskie – 257 pozycji z okresu XVI – XIX wiek, oprócz tego księga mszalna z XVIII wieku, miecz z XIII wieku, rzeźby, dokumenty, nawet hełm tatarski z XVIII wieku i wiele innych. 

Dzwony: pierwszy odlany w 1617 roku przez Andrzeja Lube, drugi odlany  w 1648 roku przez Augusta Koesche.

Malowanie ścian prezbiterium i kościoła zostało wykończone staraniem księdza Pawała Góranowskiego przez Ewelinę de Cortenei w 1928 roku.

W czasie okupacji niemieckiej 1939-45 kościół został ograbiony, a przed kapitulacją podminowany. Niemcy zabrali m.in. boczny ołtarzyk pochodzący z XIV wieku.