东汉末年，天下大乱、盗贼蜂起，连当时的南阳太守都被盗贼杀了，皇帝便派羊续去做南阳太守。羊续到南阳地方后，先布衣便装，带着两个随从，没有声张，悄悄进到了衙门，就算正式上任了。羊续本性清廉，看到南阳当地很多富绅骄奢淫逸、挥金似土，与百姓的穷苦生活相比是天渊之别，所以羊续更下定决心当一个清官，做一个廉吏。
前一任太守是个贪官，衙门里的府丞都知道这个太守贪财，但是对新上任的太守老爷的脾气搞不清楚，很需要摸个底。这些人就商量，准备找机会试试羊续。这天羊续跟手下人讲：“我到这儿来做官，你们称我为老爷，但是我把你们视做我的兄弟，你们对我尽心尽责就足矣，都不许搞歪门邪道。我这个人不贪赃不受贿，大家明白了吗？”
这几位听完都傻了，不贪赃？不受贿？估计就是嘴上说说而已，实际如何咱们得试试，看他到底喜欢什么。有个府丞就去找羊续的书童了解羊老爷喜欢什么，书童说没看着他喜欢什么，就瞅着羊老爷喜欢吃鱼。好！第二天府丞就提着一条鱼来了，羊续正在书房里批阅文件，府丞一进来，“老爷，这鱼是我自己打的，送给您，当下酒菜。”
羊续一瞧，只一条鱼，如果拒之门外，好像有点不通人情，只好让放下。送鱼的刚出门，羊续便把鱼提起来挂到门里的棚顶上了。送鱼的府丞回去了，别的府丞就过来问：“怎么样？送去没有？”“送去了。”“收了没有？”“收了。”“得，这就行。再过半个月，咱再给他弄一条送去。”
又过了半个多月，这位又弄了一条鲜鱼提着去了，一进书房，羊续正提笔写字呢，“老爷，那条鱼大概您吃完了，小的今天又打了一条鱼，还是送给您。”羊续把笔撂下说：“你看看，上回送的那鱼还在门口挂着呢。”这位抬头一瞧，上回的鱼正悬着呢，都快成鱼干了，“你还是把鱼拿回去自个吃，以后再不许给我送鱼。看到没有，上次那条鱼还没吃呢。”
这位府丞回去后就跟其他人说了，“老爷真不收礼，我上回送的鱼都被晾成鱼干了，动都没动。”从这以后，手下人再也不敢给羊续送礼了。
《后汉书》里记载，羊续是一个绝对的清官，皇帝曾想提拔他当太尉，就派近臣考察他。按当时的潜规则，考核的官员到了地方官处，地方官都得送银子送东西。羊续知道这个规矩，但他自己从不贪赃，所以拿不出钱，他便跟考核的官员说，“我没什么钱，只有把自己的一件旧袍子拿出来给您，您如果愿意收下，就留下做个纪念。”
考核的官员气坏了，回去后向皇上说了一大堆羊续坏话，皇上当然不高兴，就没提拔他当太尉，但把他调回朝当太常，太常的官官职比太尉稍微小一点，可羊续没等到任就病死了。
“羊续悬鱼”出自《后汉书·羊续传》。它的意思指居官清廉、拒绝受贿。
