建安元年（公元196年），曹操迎接献帝至许县，实现了““奉天子以令不臣”的战略目标，这时的程昱被任命为尚书一职，与曹操集团另外的一名谋士荀彧一起掌管朝廷行政事务。不久之后，一位享誉中原的政治人物的到来引起了程昱深深的警觉。这个人就是刚刚被吕布打败的徐州牧刘备。
刘备自从奉幽州军阀公孙瓒之命进入徐州之后，很快便获得了徐州牧陶谦的信任。陶谦不但推荐刘备担任了豫州牧，后来在临终之际还将徐州拱手交给了刘备。自刘备就任之后，很快便利用与袁绍结成了同盟，这样一来，曹操意欲占领徐州、扩大自己的势力范围的企图也就落空了。
不仅如此，刘备还收留了在兖州被曹操打败的吕布、陈宫，打算利用吕布陈宫的力量维持自己在徐州的统治。不过刘备很快便自尝苦果。吕布进入徐州之后，暗中与袁绍集团结盟，并趁着刘备亲自率兵与袁术交战之时偷袭了徐州，成为徐州的新主人，而刘备进退失据，只能投降吕布。后来双方又发生火并，无奈之下，刘备只得投靠了曹操。
该如何对待刘备，程昱认为此时的刘备虽然力量薄弱，但却具备远大的政治野心化为百折不饶的精神，同时又在中原地区具有较高的民望，这样的人物不可能是长期屈居曹操之下，终有一日会成为一个强劲的对手。因此程昱立即向曹操建议，将刘备杀掉以绝后患。
不过，程昱的建议并没有得到曹操的采纳，曹操认为刘备的投奔将有利于自己展览天下英雄，因此曹操不但没有听从程昱的意见，反而是厚待刘备，对其加官进爵进行笼络。到了建安四年（公元199年），曹操还派遣刘备迎击袁术。这时，程昱和郭嘉以前再次向曹擦提出了自己的意见。程昱认为：以前不杀刘备反而将其重用的目的已经达到，而今刘备又担任了朝廷任命的官职，在中原地区的知名度和政治地位得到了进一步的提高。此次又给了刘备一支军队去讨伐袁术，这无疑于养虎为患，刘备此去必将变心。
在程昱和郭嘉二人的劝说下，曹操也终于意识到自己犯下了一个巨大的错误，但是追之不及。后来的事实的发展也印证了程昱意见的正确性，刘备来到徐州，就斩杀了刺史车胄，反叛曹操。自此，曹操多了一个终生对敌的对手，也正是因为这个对手，曹操终其一生都未能完成统一的大业,给曹操留下了无限的遗憾。也许是因为出于对拒绝程昱正确建议的悔意，不久，曹操升任程昱为振威将军。
