解缙没有察觉，但是朱高煦发现了这一点，看来朱棣与解缙之间终于有间隙了，可以对解缙展开打击报复了，于是朱高煦开始下手。先是说解缙大嘴巴，将朱棣与他说的悄悄话传了出去，这可是大忌，后来又放出风声，指责解缙在监考的时候有猫腻。朱高煦说的这些都是诬陷吗，可能是，不过，解缙的作为或许说明某些指责可能也不是空穴来风，永乐二年（公元1404年）解缙担任殿试的主考官，他所录取的第一至第七均为江西吉安学子，其中的状元曾棨更是他的学生。或许江西的学子真的很出色，但在明朝曾有“南北榜案”的先例下，解缙也没有吸取教训，于是这次科举成了朱高煦等人攻击他的借口。面对朱高煦的来势汹汹，再加上“失宠”，解缙的命运可想而知，于是解缙被赶出了中央，前往广西担任布政司参议。
正所谓墙倒众人推，再加上解缙之前仗着朱棣的宠爱得罪了不少人，所以解缙刚出发没多久，礼部郎中李至刚便上书朱棣称解缙对朱棣的决定颇有不满，私下里觉得朱棣这么做不公平，结果解缙还没到广西就接到了让他去交阯的命令，交趾就是今天的越南。而解缙能有这个下场某种程度上也是他自己作的，因为这个李至刚本来是解缙的好友，按道理来说是不应该在这个时候落井下石的，但是李至刚这么做也是有原因的。早前朱棣曾给过解缙一份大臣名单，并让解缙进行点评，而名单之中便有解缙的好友李至刚，按照道理解缙应该替好友美言两句，然而解缙在评价的时候却丝毫没有顾及情面，直接称李至刚这个人趋炎附势，虽然有才但是品行不端。所以李至刚在解缙落难之时落井下石也是情有可原的，不过有趣的是李至刚也没落得个好下场，因为在解缙最后被抓之时，李至刚也被牵连了进去，最后二人还是难兄难弟。