阳虎事变后，鲁国政府聘请孔子出仕。鲁定公九年(公元前501年)，孔子被任命为中都宰，此时孔子已经五十一岁了。
孔子治理中都一年，卓有政绩，被擢升为小司空。小司空是主管国家最高建筑工程的长官司空的副职。不久又升为大司寇。大司寇是鲁国最高的司法长官，与司徒、司马、司空三卿并列，位同卿大夫。孔子在任职期间，对罪大恶极的人绳之以法，更以仁德、礼教教化人民，使人民知道什么是对的，什么是错的，什么是光荣，什么是耻辱。他说：“以政令引导人民，以刑罚整顿人民，民暂免于罪过，却无廉耻之心。以仁德来加以引导，以礼来加以整顿，民不仅有廉耻之心，而且心也会归服。”
孔子从治国的根本——人心的角度出发，指出了用刑罚治国的局限性，作为一种强制手段，刑罚只能使人民因害怕处罚而尽量避免犯罪，但这样治标不治本，不能像道德教化那样高明，使人民从根本上懂得犯罪可耻的道理，从而自觉地避免犯罪。这反映了道德的重要性，以及作为政策时不同于法治的特点，同时也反映了孔子以德治国的观点。在他的治理下，诉讼渐少，鲁国出现了政通人和的局面。
司马迁描述孔子治鲁情况时说：“孔子)参与治理国政三个月，卖羊羔猪豚的不随意抬价；男女行路分道而走；遗留在路上的东西没人捡拾；从四方来到城邑的客人不必向官吏请求，全都给予接待，如同回到了家里。”
孔子在鲁国任司寇期间，因为鲁国的实际执政者是世袭的三卿之一的季桓子，孔子要办成事情都得得到他的首肯。
一次，孔子为了“有司之治”去见季桓子，季桓子当时不高兴，事情没成。过了几天，孔子又去见季桓子以便促成其事，但季桓子还是傲慢地对待他。孔子的弟子对此很不满，宰予说：“以前我听夫子您说过，王公不来聘请我，则不动。现在您担任司寇没几天，就多次向王公屈节，不可以停止这样做吗？”
孔子解释说：“鲁国以众相凌、以兵相暴的不安定局面由来已久，倘若有责任的当局不去治理，必将大乱。这种局面需要我来处理，这岂非比任何事都更郑重和紧迫吗？”意思是说鲁国危乱的时局正等待自己去治理，这便是最大的聘请了，自己之所以一再屈节求见季桓子，正是出于国家大局的考虑。
