最早关于獬豸的记载，是在《墨子·明鬼下》中。书中说：“见人斗则触不直者，闻人论则咋不正者。”意思是说獬豸看到人动手打架，就会用角去顶理亏的那一方；听到人开口争论，就会去咬说话不公的那一方。
书中没有描写獬豸的外形，只把它描述成一种能分辨对错的“忠直之兽”，与尧、舜、禹这些圣君并列，被视作“鬼神显灵、主持公正”的体现。或许在古人眼里，人间的是非有时难断，便寄望于这样一只神兽，能越过人的偏见，直抵对错的本质。
到了汉代，獬豸的形象渐渐清晰，许慎在《说文解字·豸部》里写道：“獬豸，兽也，似山羊而一角。古者决讼，令触不直者。”就是说獬豸是一种野兽，外形像山羊，长着一只角。古代人审理官司时，会让它去触碰理亏的人。
山东嘉祥的武氏祠里，留存着一方汉代画像石，上面刻着“皋陶治狱”的场景。画面中央，皋陶头戴高冠，端坐在案前，手里握着一卷竹简，神色庄重。他身旁立着一只羊，羊的头顶竖着一根独角，昂首挺胸，正对着面前跪伏的人——那人双手被绑，低垂着头，像是认罪的模样。这只独角羊，就是典籍里的獬豸。
《后汉书·舆服志下》里记载：“法冠，一曰柱后，高五寸，以纚为展筒，铁柱卷，执法者服之，侍御史、廷尉正监平也。或谓之獬豸冠。獬豸，神羊，能别曲直，楚王尝获之，故以为冠。”
法冠，又叫柱后冠，高五寸，用细麻布做帽筒，里面有铁柱支撑，负责执法的官员会戴这种冠，比如侍御史、廷尉正监平这类官职。有人也把它叫做獬豸冠。獬豸是能分辨是非的神羊，楚王曾经遇见过獬豸，所以用它的样子来制作冠冕。
后来秦灭了楚，把这顶冠赐给了执法的官员。那时的官员戴着獬豸冠上朝、断案，冠上的独角仿佛是一种提醒，也像是一种象征。
应劭在《风俗通义·祀典》里还提过：“能触邪佞，辨曲直。”獬豸能触碰品行不端的小人，分辨是非对错。
《瑞应图》则首次提出了不同的形态描述：“獬豸者，仁兽也，状如鹿而一角，音如人啼，知人有罪，能触不直。”意思是说獬豸是一种有仁德的野兽，外形像鹿，长着一只角，叫声像人的啼哭，能知道人是否有罪，会用角去触碰理亏的人。
唐代的獬豸，渐渐有了麒麟的影子。陕西西安出土过一块唐代獬豸纹砖雕，砖上的獬豸头部像麒麟，独角粗壮，身躯上覆着细小的鳞片，四肢如兽，尾巴带着鳍状的纹路。它不再是温顺的羊或鹿的形象，多了几分威严。
宋代的獬豸，在官方和民间有了不同的模样。《宋史·舆服志》记载，御史台官员的补服上，獬豸“独角直立，双目炯炯，身似狮而有鳞”。官员补服上的獬豸一只角直立着，双眼明亮有神，身体像狮子，身上覆盖着鳞片。
而在民间的话本里，獬豸开始和“清官”绑在一起。元代的《三遂平妖传》里，有个这样的故事：
楚州有个叫徐能的知府，为官十年，清正廉明，百姓都叫他“徐青天”。当时楚州有个叫张谦的粮商，惯会囤积粮食哄抬市价，徐能便查封了他的粮仓，罚他把粮食分给受灾的百姓，张谦自此便怀恨在心。
这年春天，张谦买通了徐能身边一个贪财的小吏，偷走了府衙官印，又让他把一枚刻着徐能名字的私章与官印一起，偷偷藏进了城外的废庙里。接着，张谦又拉上几个与他同流合污的乡绅，一起到巡按衙门告状，说徐能“监守自盗”，把官印藏起来，是想私吞官府的库银。
巡按是个刚到任的官员，没细查就派人把徐能抓了起来。大堂上，徐能反复说自己没偷官印，可小吏抱着从废庙搜出的私章和官印作证，乡绅们也一口咬定“亲眼见徐知府和陌生人在废庙私会”。徐能想找百姓来作证，可张谦早放出话，说谁替徐能说话，就断了谁的粮。徐能心里知道自己这是被人陷害了。
没过多久，巡按就判了徐能“通贼盗印”的罪名，押到菜市场问斩。行刑那天，徐能穿着囚服，头发散乱，可身正步端，路过张谦站的地方时，他停下来，盯着张谦说：“我徐能没做亏心事，老天会睁眼的。”张谦吓得往后退了一步，强装镇定地骂了句“死到临头还嘴硬”。
徐能死后，他的妻子在自家院里设了灵堂，每天都有百姓自发来吊唁，有的放下一捆柴，到了第七天晚上，灵堂里的烛火忽明忽暗，徐能的妻子正对着灵位哭，忽然听见院门外有“哒哒”的脚步声，是兽蹄踩在石板上的声音。
她抬头一看，只见一只浑身雪白的兽，从门外慢慢走进来。那兽身形像鹿，却比鹿更加威猛，头顶竖着一根乌黑的独角，双目亮得像黑暗里的烛火，径直走到灵堂中央，对着徐能的灵位站定。
就在这时，院门外传来了脚步声——是张谦来了。他本来喝完酒回家，却身不由己的来到这里。刚进院门，张谦就看见灵堂里的独角兽，吓得腿一软，差点摔倒。
独角兽突然转过身，朝着张谦快步走过去。张谦想跑，可脚像被钉在地上似的，挪不动半步。独角兽走到他面前，用头顶的独角，轻轻碰了碰他的胸口。张谦只觉得一阵发麻，可还是嘴硬：“你这怪物，快滚开！”
独角兽用独角猛地往前一顶，张谦“哎哟”叫了一声，往后倒在地上。他刚想爬起来，独角兽又凑过去，用独角抵住他的喉咙，眼神里带着怒气。张谦这才慌了，声音发颤地喊：“别顶了！别顶了！我招！我都招！”
灵堂外的百姓听见动静，都跑了进来。张谦躺在地上，脸色惨白，一五一十地说了实话。
百姓们把张谦绑到了巡按衙门，巡按这才知道自己错判了案，连忙上书朝廷，为徐能平反。朝廷下了旨意，追封徐能为“忠烈知府”，还赏了他的家人良田百亩。
如今，獬豸是法院门口最常见的雕像。它既提醒每一个从门口经过的当事人要守法正直，也提醒断案的法官们要依法办案，秉公执法，莫被权钱色污染了灵魂，曲解了法律。