Tersztyánszky Károly 1854-ben született Szakolca községben, régi magyar nemesi családban. Az 1870-es években járta végig a katonai iskolákat. Előbb Sankt Pöltenben, majd a bécsújhelyi Mária Terézia Katonai Akadémián tanult. 1877-ben avatták hadnaggyá. Ezután elvégezte a bécsi Vezérkeri Akadémiát is, és 1882-ben a vezérkarhoz osztották be. Később hadosztály és hadtest törzstiszti beosztásokban volt. 1897-ben az 1. dragonyos ezred parancsnoka lett, 1898-tól ezredesi rangfokozatban. 1903-tól dandárparancsnok, 1904-től vezérőrnagy. Az ismertetők szerint katonai pályafutása során mindig kiváló minősítéseket kapott, mégis viszonylag lassan haladt előre az előléptetésekkel és beosztásokkal. Ezt forrófejűségével, a haderőn belüli ismétlődő konfliktusaival magyarázzák. 1907-ben lett a pozsonyi 2. lovashadosztály parancsnoka. 1910-ben kitüntették a Lipót-rend lovagkeresztjével. 1912-ben kinevezték a budapesti IV. hadtest parancsnokává.
A Nagy Háború első időszakában hadtestparancsnok, a 2. hadsereg alá beosztva. Előbb Szerbiában, majd szeptembertől Galíciában harcolt a hadteste. A IV. és VII. hadtestekkel eredményes támadó műveletet hajtott végre a Kárpátokban majd Lemberg környékén 1914 októberében. Ezért az eredményért kitüntették a Vaskorona-Rend nagykeresztjével. 1914 telén a Kárpátokba visszaszorult osztrák-magyar csapatok védelmét vezette. 1915 májusától a balkáni osztrák-magyar haderő (Balkanstreitkräfte) parancsnokává nevezték ki. A Szerbia ellen készülő második osztrák-magyar támadás előkészítése során konfliktusba keveredett a helyi politikai vezetőkkel. Tisza miniszterelnök követelésére leváltották. Helyét Kövess Hermann vette át, aki aztán sikeresen vezette a balkáni offenzívát.
1916 májusában vezérezredessé léptették elő. Júniusban vette át a Bruszilov-offenzívában a szétesés határára jutott 4. hadsereg irányítását József Ferdinánd főhercegtől. A meggyengült 4. hadsereg azonban az új parancsnokkal sem tudott sikereket elérni, további súlyos veszteségek érték. 1916 szeptemberére sikerült a hadsereget feltölteni, helyzetét a fronton stabilizálni. Harctéri eredményei megóvták most is egy ideig a leváltástól. Ezúttal a német szövetségessel került konfliktusba, mindenek előtt von Linsingen vezérezredessel a német Déli Hadsereg parancsnokával. 1917 márciusában ezért a kissé távolabb lévő 3. hadsereg parancsnokává nevezték ki. Ebben a beosztásában a Kerenszkij offenzíva alatt komoly vezetési hibákat követett el. Ezek miatt július 12-én leváltották és helyére Kritek vezérezredest nevezték ki.
Ezt követően már nem kapott harctéri beosztást. 1918 december 1-én nyugállományba helyezték. 1921-ben Bécsben hunyt el.