孔子返回鲁国后，继续给学生讲学。鲁国自宣公以后，公室衰微，政权操在以季氏为首的“三桓”手中。昭公初年，三家又瓜分了鲁君的军权。鲁昭公二十五年(公元前517年)，在一年一度的祭祖活动上，当权的季氏将鲁昭公祭祖所用的舞队调走了，只剩下两人，而在自己宗庙祭祀上用了天子专用的八佾舞，并在祭祖撤奠的时候还唱了只有天子祭祖时才能用的《雍》歌。孔子听说后十分愤慨，认为季氏作为一个卿大夫擅用八佾舞，违礼僭越，“是可忍，孰不可忍”！孔子还引用古代的诗说：“相维辟公，天子穆穆。”意思是说，在奏《雍》这支国乐的时候，天子站在中央，辟公(即当时的诸侯)站在两边拥护着天子，然后天子从中间走过。因为天子是国家的象征，所以态度也非常庄严，绝不会左右乱看。而现在孟孙、仲孙、季孙这三家权臣，僭用天子才能用的这种庄严的国乐到家里开舞会，真不知道他们用意何在？季氏的专横和“违礼”的举动，也引起鲁国朝中群臣的不满。鲁昭公想削弱以至铲除季平子，以恢复公室权力。恰好由于季平子和另一贵族郈昭伯两家斗鸡而引起纠纷，鲁昭公就利用这一矛盾，与郈昭伯和臧昭伯秘密策划，出兵围困了季平子的相国府。季平子登上高台向昭公求饶，请求宽恕，鲁昭公不许。季平子又请求把自己囚禁在费邑，昭公也不同意。又请求给他五辆车逃亡，还不允许。后来“三桓”中的孟孙氏、叔孙氏担心季平子失势，自己两家也会由此垮掉，于是发兵援助季平子攻打昭公。鲁昭公大败，被迫逃亡齐国。在鲁国这种乱哄哄的内乱局面中，孔子离鲁适齐。