“堕三都”的计划失败后，孔子与三桓的矛盾也随之暴露。三桓明白孔子堕城的目的是“强公室，抑三卿”，开始对孔子产生敌意，季桓子也不再对孔子言听计从，亦不跟孔子继续合作共事了。这时，孔子的弟子公伯寮到季桓子面前献媚取宠，说孔子和子路的坏话。子服景伯告诉了孔子，并表示自己可以干掉公伯寮。孔子叹息说：“我的仁政理想能够得到推行，那是天命所归；如果理想无法实现，那也是天命所决定的。公伯寮能奈何天命吗？”有人因此认为孔子自不量力。《论语·宪问》中有这样一段记载：有一天，子路夜里住在石门(地名，鲁国都城的外门)，第二天进城时，守门人问子路：“你从哪里来？”子路说：“从孔子那里来。”守门人便说：“就是那个知其不可为而为之(明知做不到却偏偏要去做)的孔丘吗？”

 

本来自孔子执政以后，鲁国国势蒸蒸日上，气势大振。齐国担心邻国的强盛于己不利，甚至评价说：“孔子要是长时间当政，鲁国最后必然能称霸。”齐景公才提出夹谷会盟以图将鲁国变为自己的附庸国，后被孔子识破而失利。这时，他们打听到鲁国朝廷的情况，认为鲁定公、季桓子等君臣喜欢寻欢作乐，于是便挑选了齐国国中姿容最秀美的八十名女子，并精心训练她们学习歌舞吹弹，然后将这队女乐，连同一百二十匹骏马，一起送到鲁国。季桓氏如他们所愿地接受了女乐，嗣后便迷恋上了歌舞，一连三日都没有上朝听政。孔子非常失望。不久鲁国举行郊祭，祭祀后按惯例送祭肉给大夫们时并没有送给孔子，这表明季氏不想再任用他了。过去的雄心壮志转瞬间便化为了梦幻泡影，孔子因而慨叹道：“凤鸟不至，河不出图，吾已矣夫！”“凤鸟”，就是凤凰，据说太平盛世才会出现。而传说在上古伏羲时代，黄河中有龙马背负八卦图出现，这就是“河图”，后成为传说中象征祥瑞的神物。所以孔子感叹才说：“凤鸟不再到来，黄河中也不会再出现八卦图，我的一生也就这样完了吧。” 

 

孔子意识到自己的仁政无法贯彻始终，只好退而求其次，将自己政治理想的实现寄希望于别国。他说：“我的宗旨是‘克己复礼’，使天下所有人都能归依仁，实行周礼，哪里用我，我就到哪里去。”于是他在不得已的情况下离开鲁国，到外国去寻找出路，开始了周游列国的旅程。这一年，孔子五十五岁。