Időszámításunk előtt 3500 táján ezen a környéken már megtelepedett az ember. Találtak itt újkőkori és késő bronzkori emléket, illetve honfoglalás kori leletek is előkerültek. A török hódoltság alatt a falu elpusztult, ezért a török kiűzése után szlovákokat is telepítettek ide. A községbe vezető bekötőút mellett található a Csesztvéhez tartozó Bakópuszta, ami 1720-ban még önálló falu volt.
1844 decemberétől 1853 szeptemberéig Csesztvén élt Madách Imre. Itt születtek meg a gyermekei. Madách ebben az időszakban tevékeny részese volt Nógrád politikai életének, beleértve az 1848-as szabadságharcot is. 1862 augusztusában Madách itt fogadta az Ember tragédiája című műve felfedezőjét, Arany Jánost.
A Madách kúria épületében jelenleg múzeum működik.
A múzeum korhű dokumentumokkal idézi föl Madách Imre életét és munkásságát. Személyes bútorai közt itt van a bölcsője is. A kiállításon láthatjuk Az ember tragédiája kiadásait, illusztrációit. A csesztvei emlékmúzeum Magyarország egyetlen Madáchemlékhelye. Számos verse, levele, vallomása kelteződött Csesztvéről; itt élte házassága első, boldog esztendeit 1845 után feleségével, Fráter Erzsébettel. A kúria 1964-től múzeum, parkja természetvédelmi terület.


A település XIII. századi eredetű, román és kora gótikus stílusjegyeket egyaránt viselő templomáról is nevezetes. A templom építése a műemléki szakirodalom szerint 1212-ben történt, A román stílusú építményt 1450 körül gótikus részletekkel újjáépítették. A templom egyhajós, keletelt, előreugró középtoronnyal. Szentélye keskenyebb, a nyolcszög három oldalával záródó, két félköríves, román ablakkal és gótikus, vízorrokkal kiképzett támpillérekkel. Keresztelőkútja XIV. századi, új, szembeálló oltárába a középkori oltárasztal egy darabja van beépítve. Szószéke rokokó stílusú. A középkori templom 1713-ban még állt. Ezután többször átépítették barokk stílusban. A szentély 1717-ben kapta meg mai boltozatát, a templom 1731-ben leégett. 1757-ben aztán újabb tűzvész érte, ekkor épült a mai hajóboltozat. A negyedik barokk építkezés 1792-ben folyt, s a toronyépítés is erre az évre datálható. 1885-ben tornyát egy méterrel magasították, majd 1914-ben a déli falhoz új sekrestyét építettek. A legrégebbi, évszám nélküli harangját valószínűleg 1760-63 között készítették.