张释之很有才能，但做了十年官却没有升迁，只做到公车令这个像官不是官这个位置。太子刘启与梁王同乘一辆车入朝，经过司马门时没有下车，公车令张释之迎上去拦住了太子和梁王，不让他们进宫，并且弹劾他们在皇宫门外不下车的不敬罪，并上报朝廷。
薄太后知道了这件事，文帝摘下帽子向太后赔罪说：都怪我教导儿子不严。
薄太后就派使者传令赦免太子与梁王，他们才得以入宫。文皇帝因为这件事，更加看出了张释之的与众不同，便任命他做中大夫。
张释之跟随孝文皇帝出行，登临上林苑里的虎圈。孝文皇帝询问上林苑的官员，各种禽兽的簿册登记情况，问了十几个问题，那些官员你看我，我看你，全都不知道如何回答。
看管虎圈的饲养员，在旁边代替上林尉，回答了皇帝提出的所有问题，回答问题很是完美。为了借此显示自己的本领，一切回答都是张口就来，毫不停顿。孝文皇帝说：做官吏不应该像这样吗？上林尉太无能了，话都说不分明。
孝文皇帝令张释之任命这个饲养员做上林令。张释之沉默了许久才上前说：陛下认为绛侯周勃是怎样的人？
孝文皇帝说：是个忠厚的长者啊！
张释之又问：东阳侯张相如是怎样的人呢？
孝文皇帝说：也是个忠厚的长者。
张释之说：绛侯和东阳侯都被称为长者，可这两个人谈论事情时都不善于言辞。现在这个饲养员因为口齿伶俐，说话滔滔不绝，就越级提拔，我担心此风一开，天下人都竞相追随，争相练嘴皮子，而不求实实在在的本事。陛下做任何事情，都不可以不慎重啊！
孝文皇帝说：你这么看问题很对。
于是就放弃了提拔饲养员的打算。孝文皇帝升任张释之为中郎将。
孝文皇帝要去灞陵，张释之也跟着一起去，他们站在霸陵的北坡眺望。慎夫人是孝文帝宠爱的妃子，时常带在身边。孝文皇帝指着通往新丰的路对慎夫人说：这条路可以一直通到邯郸。孝文皇帝看到了自己的陵墓，有些感慨，就让慎夫人鼓瑟，自己和着瑟的曲调而唱，曲调哀惋悲伤，心中一阵凄惨。
孝文皇帝回身对大臣们说：我想用北山的石头做外椁，把纻麻、棉絮剁碎，用漆黏合着塞在石椁的缝隙间，再用漆粘涂上面，那么谁还能打得开呢？
左右的大臣都迎合说：用漆粘涂上面，是很坚固的，没人打得开。
张释之走上前来说：假如坟墓中有人们想要的东西，就算封铸南山做棺椁，也还是会有缝隙。如果坟墓里没有人们想要的东西，即使没有石椁，又有什么值得忧虑呢！
孝文皇帝称赞他说得好。觉得张释之明事理，就任命他做了廷尉。
孝文皇帝外出经过长安城北的中渭桥，突然有一个人从桥下跑出来，文皇帝的马受了惊，便飞奔而去。文皇帝命人捉住这个人，交给廷尉张释之处理。张释之审问那个人，那个人说：我是从长安县的乡下来的，听到了清道戒严令，就躲在桥下，等了好久，以为皇帝的仪仗已经过去了，我就从桥下出来，忽然看见皇帝的仪仗，就吓的赶紧往回跑。
廷尉审理完毕，向皇帝报告了对那个人应得的处罚，认为他违反了清道的禁令，应处以罚款。文皇帝发怒说道：这个人惊了我的马，幸亏我的马性情温和，没有跑远，要是劣马不就伤害到我了吗？可是你只判他罚金。
张释之说：法律是天子和百姓都应共同遵守的，按着法律就应该这样判决，如果加重处罚，这样的法律就不能取信于民。
如果在当时，皇帝派人把他杀了也就算了，现在既然交给廷尉来处理，廷尉是天下公正执法的象征，如果稍微有所偏斜，那么天下执法者都会任意或轻或重，民众还怎么相信法律，请陛下明察。
过了许久，文皇帝才说：廷尉的判决是正确的。
有人偷了高祖庙神座前的玉环，贼人被抓到了，文皇帝很生气，就交给廷尉审理。张释之按法律中，偷盗宗庙服饰器具的处罚规定，奏报皇上。判处斩首示众。文皇帝勃然大怒说：这人无法无天，意然偷盗先帝庙中器物，我之所以交付廷尉处理，是要灭掉他的全族。而你却一味按法律条文行事，这不是我恭敬供奉宗庙的本意啊！
张释之摘下帽子叩头谢罪说：依照法律，这样的判决已经是到头了。况且在罪名相同时，也要区别罪行的不同轻重程度。如今偷盗宗庙器物就诛灭他的全族，万一有愚蠢的人掘了长陵，陛下又该又什么刑罚惩处他们呢。
文皇帝想了半天，又和薄太后谈论这件事，才同意了廷尉的判。
张释之执法公正，不畏皇权，引起了世人的关注。条侯周亚夫都与张释之结成亲密朋友，张释之受到了全国人民的爱戴。
孝文皇帝去世后，景帝即位。因为当年做公车令时，拦劫了太子、梁王。使太子、梁王丢了脸。张释之知道后，内心一阵恐慌。想要辞职离去，又担心招来杀身之祸。想要当面向景帝谢罪，却又不知怎么办好。
张释之与王生交好，王生爱好黄老学说，是个处士。有一次被召进宫中，三公九卿全都在殿中侍立。王生年纪很大了，忽然声称：我的袜带松脱了，回过头来对张释之说：给我把袜带系好了。
张释之就跪下来，替他系袜带。事后，有人问王生：你为什么要在朝廷上羞辱张释之呢？让他跪着替你系袜带。
王生说：我年纪大了，而且地位又低，我知道我不会对张廷尉有什么帮助了。张廷尉是当今天下名臣，我故意要污辱名臣，让他跪下来替我系难带，是想要以此提高他的名望，各位大臣听说这件事，都称赞王生肾贤能，并越发敬重张释之了。