清官第一，天下第一廉吏
崇禎十二年(1639年)，參加鄉試的于成龍因為在考卷上痛陳時弊，對當時省城太原考場考官公然行賄受賄，徇私舞弊的行為非常不齒，得罪了考官，只能勉強考取了個副榜貢生。
副榜貢生的意思就是學子考取功名沒考中，但成績尚可，入選者可以破格被送往國子監讀書。科舉時代，挑選府、州、縣生員（秀才）中成績或資格優異者，升入京師的國子監讀書，稱為貢生，貢生相當於舉人副榜。
於是于成龍對官場心灰意冷，後面藉口自己父親年邁需要照顧回到故鄉。
但是于成龍並非是放棄了科考，在改朝換代之後于成龍繼續參加，他在順治四年(1647年)到順治八年(1651年)這四年間專心在太原崇善寺開辦的學校學習，但是順治八年(1651年)的鄉試中，三十五歲的于成龍並沒有取得理想的成績，依舊落榜。
一直到順治十一年(1654年)，于成龍兄長於化龍病故，三子於廷元出生，全家生活的擔子落在他的肩上。上有年邁的父母需要贍養，下有幾個兒子也需要教育。于成龍為了養家餬口，供孩子上學，整日忙於家務，已經沒有絲毫的精力再放在科考上。
順治十八年(1661年)，于成龍在稍得喘息之後決定進國子監學習，當時他已經四十四歲了，一般人在這個年歲已經想著安享晚年，含飴弄孫。但是心懷壯志的于成龍並不安分於此，他一咬牙告別了在家的妻子和已經成家的兒子們，被朝廷派到邊荒之地廣西羅城為縣令。
當時天下局勢剛定，而羅城新隸於清統治下不到兩年，當地的情況比較複雜，之前的兩任知縣一死一逃于成龍到羅城才發現這裡根本就不能叫城，只見遍地荒草，茅屋數間，百姓寥寥幾戶，就算是縣衙也只是三間破茅房。沒辦法他只能住在關帝廟中。當時跟著的五名僕從實在是忍不下去，不是病死就是逃走了，于成龍還是咬牙堅持了下來。
新上任的于成龍很快就有了明確的思路，他採取"治亂世，用重典"的方法，在羅城為官三年之間，就把羅城變成一個有秩序，有活力的地方，百姓也安居樂業。
他在當地建立保甲，嚴懲緝獲案犯，表示要嚴禁盜賊。等到初現效果之後，他又讓鄉民練兵，準備討伐經常擾害的"柳城西鄉賊"。見到官府的如此陣仗，西鄉的賊匪開始害怕了，主動和于成龍講和，還歸還了當初擄去的男女老少。
因為當地人口稀少，于成龍重點招募流民以恢復生產，勸課農桑。農閒時還親自上陣，帶領百姓修民宅、建學校、築城牆，親自給搬進新家的百姓題寫楹聯，十分得人心。時任廣西巡撫的金光祖很滿意于成龍的成果，他治下的羅城也成為重點的表揚物件。
就這樣，于成龍在任上一干就是數年如一日，一直到康熙六年(1667年)， 廣西巡撫金光祖等人都決定向皇帝舉薦于成龍，於是于成龍得以升任四川合州知州。
合州的土地極度荒蕪，于成龍發現流民不附的原因，在於原主認業。於是他規定"凡一佔即為己業，後亦不得爭論"，同時要求各縣注意為新附百姓解決定居與墾荒中的具體困難，並親自為他們區劃田舍、登記註冊，借貸牛種，申明三年後起科。這樣，"新集者既知田業可恃為己有而無復徵發倉卒之憂，遠近悅赴，旬日之間戶以千計。已經對為官非常上手的于成龍才到任不到二年，合州的人口驟增，由於招民墾荒政績顯著，康熙八年(1669年)，于成龍被擢升為湖廣黃州府同知。
于成龍其後在黃州任同知四年，又任知府四年。由於在黃州府同知任上的突出政績，于成龍又深為湖廣巡撫張朝珍器重，再次被舉"卓異"。
康熙十二年(1673年)于成龍再次舉"卓異"後，被調武昌知府，主持武昌政務。此時"三藩之亂"爆發了。
康熙十三年(1674年)五月，麻城縣發現"偽札（公文）"，當地知縣就以通賊的罪名大肆濫捕，百姓人心惶惶。因為于成龍在當地很有影響，被請出來壓住局面。
當時接受了"副將偽禮"的劉君孚父子乘機聯絡東山一帶山寨發動暴亂，想要奪取當地政權。于成龍查清事件原委後，發出安民告示，使絕大多數協從百姓歸家，事態很快趨於緩和。隨後，他隻身前往首先發難的劉君孚山寨中，終於事情得以平息。
時年八月，于成龍調任黃州知府，但是這時候第二次暴亂又接踵而至。
趁著黃州府空虛，潛入的三藩細作慫恿當地豪紳鬧事，一時間"高山大潮，烽火相望"，因為鬧事的是有錢有勢的人家，所以聲勢與範圍非前面可比。
于成龍非常清楚黃州府的重要性，在面對那些勸告他放棄的人，他堅決否定並且組織鄉勇主動進攻，調集了數千人在東山黃土坳一帶，與數量上佔優勢的暴亂分子展開激戰。于成龍既是總指揮，也身先士卒衝在最前面，最終鼓舞士氣使戰鬥獲得全勝，當場擒獲暴亂首領何士榮，受到湖廣總督蔡毓榮的高度褒獎。
於是在康熙十六年(1677年)，朝廷新設江防道，表現出色的于成龍升湖廣下江防道道員，駐地黃州。次年，于成龍升福建按察使。
康熙十九年(1680年)，于成龍被擢為直隸巡撫。後面得到康熙的召對，君臣交談下來，皇帝對他非常滿意，稱讚他為"清官第一"，並且賜給他帑金、御馬，並御製詩歌贈送給他，以示寵幸，將其為兩江總督。
雖然現在於成龍已經官至兩江總督，但他的生活水平依舊很一般。作為上級領導，為了不奢侈腐化，他身體力行了什麼叫"為民上者，務須躬先儉僕"。在直隸的時候，就已經是和僕人們一樣吃糠雜米，即使是到了魚米之鄉的在江南，也"日食粗糲一盂，粥糜一匙，侑以青菜，終年不知肉味。"
江南的老百姓都稱其為"於青菜"，而他治下的官吏也"無從得蔬茗，則日採衙後槐葉啖之，樹為之禿。
康熙二十三年(1684年)四月十八日，六十八歲的于成龍死在了兩江總督的職位上，家裡的奴僕給他收拾遺物時，木箱中只有一套官服再無其他，聽到訊息的當地百姓為之罷市，當街痛哭不止，還為他塑建雕像祭祀，康熙帝破例親為撰寫碑文，贈太子太保，諡號"清端"，到雍正時入賢良祠。
古人得一節，足以傳之無窮，公則萃於一身，無往而不備矣。
