洪武元年（1368年），朱元璋建立明朝，设置御史台，以刘基为御史中丞，担任御史台的行政长官。七月，朱元璋北巡汴梁，命刘基与中书左丞相李善长留守应天。这期间由于刘基的刚正不阿，得罪了大明第一功臣李善长。
在朱元璋走之前，刘基就要求严肃纲纪，严惩不法者，朱元璋完全同意刘基的观点。刘基平日刚严，凡见官吏犯法，即严惩不贷，所以当时的官吏都很惧怕刘基。就在朱元璋北巡汴梁之际，中书都事李斌犯法当斩，可是此人是李善长的亲戚，李善长在此时便替他向刘基求情。李善长认为满朝大臣都会看在自己这个开国第一元勋的面子上放过李斌，刘基也应该是这样，谁知道刘基没答应，并且派人赴汴梁奏斩李斌。李善长由此怨恨刘基。
刘基在担任御史中丞期间，不但不畏权臣，而且敢于直谏。洪武二年九月，朱元璋与群臣讨论建都之地。有的人说，关中是天府之国，地理位置险固，又是汉唐旧都，应该定都在关中。有的人说，洛阳处在天下中心位置，应该建都洛阳。有的人说，汴梁是大宋旧都，于此建都可以收买人心。有的人则说北平宫室完备，建都于此可以节省民力。朱元璋听了诸臣的建议后说，你们说得都很对，所不同的就是说法不同而已。应天有长江天险，龙盘虎踞，足以建都。而临濠（今凤阳），前有长江，后有淮河，有险可依，可以建为中都。群臣听了朱元璋的一番话后，都交口称赞。在大家都应和讨好君主的情况下，唯有刘基大胆持反对意见。他说：“临濠虽然是陛下的家乡，但是却不是建都之地。”刘基的一句话一针见血，一语道破了朱元璋的真实想法，临濠无论是从地理位置还是从政治经济角度看，都不适合在这里建都，朱元璋之所以要建都于此，只因为这里是他的家乡而已。刘基这样直言不讳地谏阻皇帝，当然惹得朱元璋大为不悦。他最终还是没有听从刘基的建议，正式下诏以临濠为中都，并改名凤阳。
刘基在开国之后，既敢于抗言直谏，又敢于得罪权臣。但是对于一般的大臣，他却很宽容。他经常在朱元璋面前解救廷臣，被他解救的廷臣知道刘基救了自己，都满怀感激之情前去致谢，还有很多人在免遭责罚之后还不清楚是谁救了自己。对于这些，刘基都只字不提。从这些事上，我们可以看出刘基的为人。对于平民百姓，刘基一直主张要爱民宽仁。在刘基担任御史中丞期间，经他手平反了不少冤案。
