到了2003年12月，人们纷纷开始讨论即将到来的下一年国会议员选举。其实，在2003年8月份人事调整及组织改编的时候，青瓦台已经把打算参加国会选举的人提前送走了。过去的政府都是在临近国会选举时，找一个比较好的时间点派人出来竞选国会议员，最大限度享受“青瓦台附加值”，但也会影响青瓦台的正常工作。我们这么做就是为了最大限度地避免这种情况的发生。宣传首席李海成、政务秘书官文学振、国内舆论秘书官金贤美、春秋馆馆长金晚洙、民政首席室行政官白元宇等都是这一时间离开的。
但临近选举的时候，党内开始出现针对我的“征伐论”，完全不顾我的个人意志。郑灿龙首席也跟我一起被推到了舆论的风口浪尖。为了维护总统正常的国政运营，我们需要在国会占过半数以上的议席，只要是有一定竞争力的人选就都被派去参加国会选举，以帮助总统。特别是开放国民党在岭南地区人手严重短缺，所以很多人都希望我能够出来竞选，制造点影响。虽然我很难接受这个要求，但我能充分理解他们的心情。
我表态，自己还是无意竞选，结果党内的要求及表达方法逐渐变得强硬，甚至变得粗暴。他们自然不是直接对我说，而是选择通过舆论报道对我施加压力。最后甚至是恶语相加，质问我：“享受了荣华富贵，做出点牺牲就不行吗？”
我能猜到他们为什么这么做。他们大概想把我从青瓦台请走。因为我这个民政首席的原则主义让他们备感不便。对此我也能理解。面对检方的调查，我没有帮他们的忙，他们有不满情绪；对于党内的人事请求，我也没答应，他们也有不满。这些我以前也听说了。
但是，这个民政首席职位让我偏离原来的生活轨道太多，我已经是力不从心了。我一点都不想进一步涉入政坛。我想干脆连这个民政首席也不做了。而且虽然总统表面上没说什么，但很明显他也希望我出来竞选国会议员。在这一点上，即使他不说，我也能感觉得到。我觉得我无法满足他，但明明知道总统的想法，还赖在那里，没有任何行动，也不合适。我以身体不好为由表明了去意。正好当时发生了“闵庆灿基金事件” [1] ，部分媒体和在野党又是各种无端猜疑，这成了我辞职的契机。2004年2月12日，我正式辞职了。
离开时我把心里的话通过“辞职之辩”说了出来。“永无休止的、毫无根据的曝光与质疑，让我每天都处于非常紧张的状态中，我不能所有的事都一一处理，而且处理的方法也总有问题，这种无力感让我身心憔悴。”我也表达了对梁吉承室长事件、闵庆灿基金事件中各种无端质疑的遗憾。健康问题和竞选问题我也坦诚地说了出来，“我的健康状况受到了很大的影响。近来逐渐加码的国会竞选压力也让我喘不过气来。各种原因让我的肉体和精神都近乎枯竭，我现在想把这份力所不能及的沉重责任卸下来，回到我原来的生活轨道中去”。
进入青瓦台将近一年了，我终于感到了解放。虽然对总统和其他仍在青瓦台辛苦奋斗的人有些愧疚，但是我也只能选择这样了。
外面的空气真自由啊！我好不容易重新获得了梦寐以求的自由，所以立刻就与妻子去江原道旅行了一趟。我们开车去了向往已久的很多地方，宁越、旌善、麟蹄、百潭寺，还有雪岳山。没了牵绊，我们想走就走，想停就停。我的心情就像著名演员崔岷植在某个广告里喊的那句话——“我是自由之人！”
[1] 闵庆灿基金事件：2004年初，传闻说卢总统的兄长卢建平的妻弟闵庆灿募集了650亿韩元基金，该事件实则是一起毫无根据的质疑。