Za predstavitev te cerkve je namerno uporabljeno prastaro krajevno ime Jelšje, ki naj ostane v spominu, čeprav ga je v novejšem času nadomestilo ime Ostenk nad Trbovljami.

Podružnična cerkev sv. Marka na Ostenku je omenjena že leta 1617 v župnijski kroniki, v pismu, ki ga je Jurij Komar tedanji vikar v Trbovljah, pisal knezoškofu Tomažu v Ljubljano. Iz opisa v pismu je razvidno, da je bilo tedanje poslopje nizko in temačno. Že v naslednji jeseni so cerkev prenovili in blagoslovili. Ob omenjenem uradnem podatku obstaja tudi ustno izročilo o izvoru svetišča iz leta 1545. Ta podatek sicer ni preverjen, je pa verjeten, glede na to, da je bila cerkev že ob vizitacijskem obisku l. 1617 potrebna prenove. Leta 1631 je imela cerkev le oltar sv. Marka. Do leta 1668 je stal leseni zvonik, ki je bil menda kar nad sredino cerkve. V tem letu pa je bil sezidan nov zvonik, ki stoji ob levi strani ladje še danes. Kot v mnogih drugih svetiščih je bil strop tudi v tej prvotno lesen. Odstranjen je bil leta 1811, ko so sezidali sedanji kamniti obok. Dograjevanje se je nadaljevalo v letu 1850, ko je bil pozidan pevski kor. Po desetih letih so izdelali novo ostrešje in zamenjali kamnito kritino z opečno. Istega leta je bil na novo pozlačen glavni oltar. Ob vseh teh prenovah in izboljšavah se je bogatila tudi notranja oprema. V začetku 18. stol. je cerkev dobila dva stranska oltarja in sicer na levi strani oltar sv. Uršule, na desni strani pa oltar sv. Primoža in Felicijana.

V kroniki je zapisano, da je bila cerkev v letu 1923 obsežno prenovljena – dobila je novo kritino na zvoniku, pločevinaste žlebove, nova okna. Verjetno je bila res lepa, saj se zapis v kroniki takole končuje: “Cela cerkvica se je kakor čista nevesta zableščala na prijaznem griču”. Leta 1925 so v zvonik obesili nove zvonove. Ti so utihnili sredi druge svetovne vojne.

Posebnost cerkve sv. Marka so bile orgle, izdelek znanega mojstra Janeza Janačeka, ki so z letnico 1749 med najstarejšimi na Slovenskem. Skoraj uničene, so bile po obsežni restvraciji in obnovi manjkajočih delov ponovno nameščene v cerkvi sv. Katarine. Cerkvica je sedaj že dolgo let brez tega instrumenta. In še ena zanimivost – edino še v tej cerkvi trboveljske fare stoji še kar lepo ohranjena lesena prižnica.

Tudi sama notranjost cerkve se je, kar se tiče opreme, večkrat spremenila. Oltar sv. Uršule je bil spremenjen v oltar Lurške Matere božje. Verjetno prav v tistem času, ko je bil lurški dogodek Marijinega prikazovanja sprejet kot pristen. Kip sv. Uršule je bil tedaj premeščen na manj vidno mesto v prezbiterij. Ob zadnji prenovi svetišča pa je bil vrnjen na staro mesto, kip Lurške Matere božje pa je dobil svoj prostor na vidnem mestu južne stene v glavni ladji.

Dogajanje okrog cerkve sv. Marka je bilo po ustnem izročilu nekoč zelo živahno. Ob prazniku sv. Marka (25. april) je bil tradicionalni spomladanski sejem s semeni in poljedelskim orodjem, Lukežev sejem (18. oktober) pa je ponudil živino in preskrbo zanjo. Poleg tega se je do druge svetovne vojne ohranjala tradicija, da se je shod ob godu sv. Roka (16. avgust) začel s prvo mašo pri sv. Marku in nadaljeval s procesijo sv. Rešnjega telesa do sv. Katarine, kjer se je praznik nadaljeval s službo božjo. Tudi zimski svetnik sv. Anton ( njegov kip je v atiki glavnega oltarja), je k sveti maši privabil veliko vernikov, ki so ob tej priložnosti darovali svinjske krače, iztržek od prodanih darov pa je bil porabljen za cerkvene potrebe. Znano je, da je bila leta 1930 zbrana tolikšna vsota, da je zadostovala za nakup novega mašnega plašča. Škoda, da so se tako lepi običaji skoraj pozabili.

Cerkev sv. Marka je po drugi svetovni vojni dolga leta čakala jasnejših in bolj veselih dni. Ta čas ni bil naklonjen obnovam cerkva, spremembe so se začele šele v novejšem času. Tako so bili 26. aprila 1989 kupljeni, blagoslovljeni in v zvonik obešeni novi zvonovi. Kot da je njihov zven prebudil verne ljudi, da so se zazrli v svetišče in dojeli, v kako slabem stanju je.
Že v letu 1992 so se začela obsežna sanacijska dela na utrditvi stavbe z izgradnjo železobetonskih vezi okrog temeljev in jeklenih vezi za utrditev sten, saj so premiki tal pod prezbiterijem in zvonikom povzročili nevarne razpoke. Po izdelavi utrditvenih vezi so bile vse poškodbe sanirane z zalivno maso, notranjost pa delno na novo ometana in prebeljena. Ponovno je priskočil na pomoč nepogrešljivi akademski slikar Lojze Čemažar, ki je lepo obnovil poslikavo in posvetitvene križe. Ob vsem že omenjenem je bil na ostrešju zamenjan tudi del kritine in strešni žlebovi. Obnovitvena dela na tej cerkvi so bila končana spomladi, ko je bila obnovljena in poslikana še celotna fasada, v notranjosti pa izdelan keramični tlak in delno obnovljena oprema. Tako obnovljeno svetišče je 22. oktobra 1995 blagoslovil mariborski pomožni škof dr. Jožef Smej. Skupaj z njim se je verno ljudstvo zahvalilo za uspešno in varno obnovo cerkve. In od takrat se cerkvica sv. Marka znova “blešči kakor čista nevesta na prijaznem gričku”.

V spomin na ta dogodek je bil izdelan kronogram nad glavnimi vhodnimi vrati, ki pove:
»OBNOVILI ŽUPLJANI IZ ZAOBLJUBE MARKO EVANGELIST POSREDUJ ZA PAPEŽA IN MIR«