开元八年（720）正月，宋璟突然被免去宰相职务，跟姚崇一样以“开府仪同三司”的荣衔成为国策顾问。他在相位上停留的时间也跟姚崇差不太多，实际上只有三年。[28]
以此为标志，短暂而难忘的贤臣时代宣告结束。
这是一个君臣共治的时代。双方都在小心翼翼地进行磨合和探索，试图在强有力的君主和他的辅臣之间建立一种健康的关系。因此，这也是一个克制的时代。玄宗谨慎而明智地运用着皇权；宰相勤劳国事，同时防止国家进行劳民伤财和野心勃勃的冒险行动，有如帝国的定海神针。[29]
难怪姚崇和宋璟虽为名相，执政期间却并没有多少惊天动地的作为。因为他们的治国方略和时代特征就是这样十六个字：四夷来寇，驱之而已；百姓富饶，税之而已。[30]
宋璟却还是下台了。
导致他下台的原因在司法和财政。也许是为了保证社会的安定和政权的稳固，宋璟对罪犯们没完没了的申诉极为反感和厌恶，竟将积压案件全部交给监察部门处理，并且交代政策：认罪服法的宽大处理，继续上诉的统统关起来。
结果民怨沸腾，就连艺人也看不下去。当时天旱，一个优伶在表演节目时便扮作旱魔在皇帝面前手舞足蹈。
玄宗问：你这家伙怎么跑出来了？
扮作旱魔的艺人答：奉宰相之命。
玄宗问：此话怎讲？
艺人答：三百多苦主被宰相关押，旱魔能不出来？
玄宗很以为然。[31]
不过，直接让宋璟倒台的是货币问题。我们知道，中华帝国是没有银行的，货币在理论上只能由官方发行。然而由于商业的发达，官铸的铜钱根本不够使用。而且随着货币需求量的迅速增长，它们的质量也变得低劣，还不如民间私铸的铜钱。政府也只好允许私钱流通，以免贸易呆滞。
宋璟和他的搭档却试图一劳永逸地解决这个问题。他们奏请恢复私铸铜钱判处死刑的禁令，并派专使前往私铸最为盛行的地区治理整顿。结果，专使的雷厉风行导致了物价的大幅度波动，民不聊生，怨声载道，舆论哗然。
两位宰相只好为他们灾难性的失败埋单。[32]
问题没有得到解决，短板却暴露出来，那就是帝国的多数官员都不善理财，而且没有兴趣。实际上，自从汉武帝独尊儒术并建立起文官制度，话语权就掌握在儒生手里。在他们的评价体系中，占第一位的是所谓道德文章，其次才是管理才能；而在管理才能中，理财又最为他们鄙视，甚至被看作小人的伎俩和行径。不被骂作卑劣，已是万幸。
可惜帝国不能只靠道德文章来维持。国家机器的正常运转要用钱，王公贵族的穷奢极欲要用钱，雄心勃勃的对外扩张更要用钱。钱，不由天降，不由地生。没人理财，皇帝靠什么过日子，官员靠什么领工资，天下靠什么致太平？
于是，汉有桑弘羊，宋有王安石，唐有宇文融。