《退步集》是陈丹青归国五年来对中国艺术、建筑、教育等状况的审视的文集。作为画家，陈丹青归国后，更多关注国内艺术界和社会中的一些问题，被人批评为：退步。他借此作为书名，但我想还有更深一层意义：从艺术的台前退步至幕后来审视今天中国文化、艺术、教育等领域中的种种问题。
在绘画部分，陈丹青谈到他去纽约的原因，引出了他对中国的美术馆状况的看法。去纽约不是为了移民、发财，而是为了到西方开眼界，看看油画经典的原作。西方艺术的大国全部都拥有顶级美术馆，像美国的大都会美术馆，英国的大英博物馆、泰特美术馆，法国的卢浮宫美术馆而中国，不仅没有几座像样的美术馆，连镇馆之宝都没有几件，大批地流失海外。而谈及美术馆在很多人脑海中的印象，基本停留在所谓闲雅之地，非普及与大众生活中的艺术展览的集中点。美术馆这种文化形象，社会角色，教育功能在中国几乎得不到重视，而在英国，学生从小学开始就要由学校带领去参观各大美术馆。在书中，陈丹青甚至谈到：给艺术学院的学生教学，我们要到国外去买民族艺术经典的复制品，假如不买，我们连这复制品也没得玩。连艺术生都很难看到我国的艺术作品，更不用说我们这一群普罗大众了。历史上有各种原因以至于艺术作品的流失海外，但根源还是在于社会性的对艺术的忽视。回想我们在学校中的艺术教育，音乐课和美术课之于大部分学生形同虚设，即使是对其表示有兴趣的，在学校的艺术课上，不是碍于老师的水平有限，就是时间的限制无法深入，真正在学校的习得其实十分有限。而学校之外的，家长帮助培养的各种兴趣爱好，大多是父母希望在艺术方面的某项特长对于孩子之后的发展有所帮助，而并非出于孩子自己真正的心之所向。以这种功利的、实用性的教育理念，不用说中国与其他国家孩子的文化艺术底蕴之间的巨大差距，中国一直希望拥有的文化软实力也永远难以形成。陈丹青这本书是在05年出版的，虽然上述的问题还普遍存在，但就在这几年内，也有很多变化：艺术在北京活跃起来，像798艺术工厂、尤伦斯艺术中心、中国美术馆、中央美院涌入了各种对艺术抱有兴趣的人去参观；同时就在去年年初宣布，全国公共图书馆美术馆将在今年底前全部免费开放。美术馆免费，虽然并不意味着国民对于艺术的意识有多大提高，但在某种程度上表明政府对于艺术教育的重视，也是向全体敞开了一扇门，是政府层面的一种引导。至于所谓的文化创意产业，是政府对于发展文化艺术的一种新的思路，希望达到商业与艺术的统一，但真正的艺术是应与政治引导，社会意识形态和商业利益相割离开的，应是任由其发展的一片领域。虽然我们艺术的空间受制于社会现实，不可能达到真正的自由，但民众对于文化艺术的意识的提升，至少可以让它脱离商业利益的怪圈。让文化艺术进入所有人的生活，不仅仅是靠政府的引导，最重要的是让它成为每一个人意识中的概念，成为民间的、全体性的。
关于城市部分，近年来有很多对于中国城市建设批评，特别是北京。建国后，政府没有采纳梁思成在古城外建新城的意见，而是强行拆毁代表皇城文化的城墙，直到今天，对北京代表平民文化的胡同、四合院的大肆拆毁依然没有停止，似乎在新中国的城市建设中，建设就等于拆掉旧的建新的。不久前，梁思成夫妇在北京的故居被拆毁的消息更是对于这座古城新建的一种极大的讽刺。就像陈丹青所说：北京的变化，是持续消除记忆的过程，北京城的建设等同于实现政府的都市想象。自08奥运会以来，北京似乎一直在竭力地建设各种地标建筑，像：鸟巢、鸟腿（中央台新址）、鸟蛋（国家大剧院）、水立方，请来各种国外知名建筑师，把北京装饰得超前卫甚至是不伦不类，各种建筑不是与城市相融合而是标新立异与城市整体景观相独立出来。政府把建起的一个个新的极具现代感的建筑作为他的辉煌政绩，似乎希望再次出现另一种毕尔巴鄂效应，给北京带来更多经济效益和抢眼的镜头。
这个问题不单单出现在北京。南京，为了建设标志着城市交通发达的地铁，甚至要牺牲掉地上在民国时期就存在的法桐。不可否认，胡同里的居民需要更结实，现代的居室，一座古城也需要在时代中烙印现代城市发展的标记，新建筑的诞生和城市发展的建设需要无可厚非，但并不意味着是通过对于记忆和古建的破坏而建立起来，更是需要将古建景观与现代理念的糅合。苏州园林景区周围的建筑都是二三层的水乡民居的建筑群，并保留了像平江路一类的古代街区，带有明显的地域指向感；而贝聿铭先生设计的苏州博物馆则是一个仿南方白墙青瓦风格的现代建筑：既有南方一贯素净的传统建筑风格，又不乏现代感的线条和结构，在时间和空间感上都给人留下了极好的印象：即传承了传统的地域特征又发挥了现代的建筑在视觉上特长。这才是陈丹青所说城市建筑应有的建筑景观：他自己的历史形成自己的结构、肌理和大风格。在人们都迷失于现代钢筋水泥所带来的符合现代视觉要求的玻璃墙高楼时，是那些带有历史记忆和地域特征的建筑和遗迹让我们找回了对于自己城市的概念，这时候，城市和古建不再仅仅是曾经繁华、今天的没落，更是寻找根源的出发点，是所有城市人关于历史，关于身份的标志。而这，更是需要民众的关注和努力。北岛在为他的书《城门开》作序的时候提到他写这本书的缘起：我要用文字重建一座城市，重建我的北京用我的北京否认如今的北京。；而南京人，为了保护其关于法桐的记忆，甚至大规模联名抗议政府对法桐的砍毁。也许政府在城市建设的时候有不同的考虑，但之于意欲保护城市记忆的每一个人来说，无论是用文字、艺术的方式，或是向政府提出自己的建议，都在一定程度上做出了努力，而这种努力也将不断影响到更多的人来发现它的价值和意义，最终达到所谓重建的目的。
