这个成语出自《论语·阳货篇》。
武城是春秋时鲁国的一个小县城（今山东费县附近），子游在那儿做过县令，他是吴国人，姓言，名偃，是孔子的一个学生。
有一次，孔子来到武城，听到一阵阵弹琴、唱歌的声音，知道子游在以礼乐治理武城，不禁笑着说：“割鸡焉用牛刀——治理这么个小小的县城，还用得着这样小题大做吗？”
子游却答道：“以前，我也听老师您说过：上等人物，受了教育，就会有仁爱之心；一般平民，受了教育，也会听从政令，就容易指挥了。”孔子听了，立刻向随行的学生说：“偃的话是对的。刚才我所说的，不过是开玩笑罢了。”
“割鸡焉用牛刀”比喻小题大做或大才小用。