“质量”是一个具有模糊特性的概念，对博士生教育而言，质量评估更是一个艰难的课题。自1924年首次实施博士生教育质量评估以来，美国的博士生教育质量评估主要经历了三个发展阶段。一是声望研究（Reputational Study）阶段。作为早期重要的质量评估方法，它主要利用教师、系主任或院长们的主观评价对博士点进行排序。二是客观指标（Objective Indicator）研究阶段。这一方法尽量避免主观评估带来的问题，而主要利用教师的论著、研究资助或学生成果等客观变量来评估。三是相关定量研究（Quantitative Correlate Study）阶段。它通过确定与教师或博士生教育质量相关的变量，并将其转化为可以测量的维度，例如院系规模、联邦资助数量、图书馆资源、教师薪资和教师研究成果等来对博士生教育进行质量评估。
一、美国博士生教育质量评估的早期尝试
（一）1924年和1934年休格斯的调查
美国博士生教育质量评估最早可以追溯到1924年。在这一年，时任迈阿密大学校长以及美国学院联合会（AAC）主席的休格斯（Raymond M．Hughes）对美国的博士点进行了评估，评估对象是可以授予博士学位的38所大学，涵盖了20个研究领域。[1]休格斯研究的主要目的是为本校希望继续追求高深研究的本科生提供关于博士点的相关信息，以利于学生选择。
休格斯所采用的评估方法是典型的“专家主观评估法”。他要求其所在的迈阿密大学教师们提供一份20个研究领域中全国最杰出的学者名单，这些学者大部分来自一流大学集中的东部和中西部地区，继而把问卷发放给每一位挑选出的学者，恳请他们根据自己的主观感受对本领域的博士点进行排序。休格斯根据每位学者的排名情况，对各个博士点的总体排名进行了分析。[2]在1925年，这一研究结论被纳入美国学院委员会的年度会议报告，这是美国最早公开出版的关于全国博士生教育的声望评估。10年后的1934年，受美国教育委员会研究生教育协会（Committee on Graduate Education）委托，休格斯利用同样的方法再次对博士点进行了排名。
休格斯的研究在当时激发了很多人的兴趣，其研究结论成为大部分4年制学院和大学的学生指南，指导他们选择未来的学习机构，对一代学生产生了重要影响。但休格斯的研究也受到了一些批评，例如专家组的人数太少（在20—60人之间），同时专家组成员主要集中在东北和中西部地区，在地理分布上不平均等。尽管其采用的研究方法并不理想，但休格斯是美国历史上对博士生教育质量进行调查研究的第一人。正如劳伦斯（Lawrence）和格林（Green）所指出的，休格斯是第一个倡导利用杰出学者作为评估者、第一个强调博士生教育重要性以及第一个将教师声望作为评估博士点质量标准的研究者。[3]
（二）1957年肯尼斯顿的研究
1957年，作为宾岁法尼亚大学教育调查的一部分，肯尼斯顿（Hayward Keniston）也利用声望排名方法对博士生教育质量进行了评估。[4]肯尼斯顿的研究包括25所大学，它们同属美国大学联合会（AAU）的成员，评估的主要目的是确定宾夕法尼亚大学在其中所处的学术声望和地位。
肯尼斯顿访谈了这25所美国一流大学的系主任，要求他们根据教师的质量提供各自领域中最有实力的15个院系名单，通过对排名序列赋值的方法（排名第一得15分、排名第十四得1分）发布了这25所大学的声望排名。此外，肯尼斯顿还将自己的研究与休格斯的研究进行了对比，以发现同一所大学在声望排名上的变化。他也确实发现了这一点，例如哈佛大学的排名从1924年的第二位升至1957年的第一位、加州伯克利大学从第九位跃升至第二位、耶鲁大学从第五位升至第四位，而密歇根大学则从第八位升到了第五位。[5]
如同休格斯一样，肯尼斯顿的研究报告也获得了广泛关注，产生了相当影响，很多学生据此来选择未来想进入的研究生院。当然，他的研究也招致了一些批评：第一，专家组的规模太小而不足以具有代表性；第二，利用院系主任作为声望“裁判员”也不是收集“声望”信息的理想方式；第三，由于系主任年龄一般要大于教师，因此他们可能是一个传统主义者，更倾向于将历史悠久的院系排在前列；[6]第四，由于挑选出来的院系主任大部分都毕业于这些样本学校，因此可能存在着“校友偏见”；[7]第五，一些批评者甚至认为，肯尼斯顿的研究没有将“教育的声望”与“教师的声望”区分开来，将博士生质量单纯地视为教师的质量而忽略了其他重要的因素。[8]
二、美国教育委员会的博士生教育质量评估
（一）1964年卡特的研究
1964年，作为美国教育委员会（American Council on Education，ACE）副主席和高等教育规划和目标委员会（Commission on Plans and Objectives for Higher Education）主任的卡特（Catter）实施了影响范围更广的博士点质量调查。这次调查有三个任务：一是更新早期博士生教育评估的定量研究数据；二是将评估扩展到美国的所有主要大学；三是尽可能了解主观性评估的缺陷和不稳定性，并在未来改进这一方法。调查研究报告《研究生教育的质量评估》（An Assessment of Quality in Graduate Education）由ACE于1966年出版。[9]
在方法论上，卡特的研究尽量弥补了早期声望评估的缺陷，更加重视样本的数量和地理分布，研究覆盖全美各地区的106所大学。为了对比，卡特覆盖了休格斯和肯尼斯顿调查所涉及的学科，最终包括了30个研究领域中的1，663个博士点。专家组成员包括约900名系主任、1，700名杰出的高级学者和1，400名精心挑选的初级学者。同时，卡特还将参与了前两次调查的专家都排除在外。在大学类型上，卡特的研究覆盖了公立与私立、全国性和地区性大学，并尽量使其在地理分布上更均衡。为了避免产生“校友偏见”，卡特尽可能使专家组成员来自不同的毕业院校和地区。[10]此外，1964年的研究还统计了1，300名获得联邦奖学金的学生在各学校和地区间的分布，能够获得联邦奖学金被认为是学生质量好坏的重要衡量标准。例如2／3的国家科学基金会（National Science Foundation，NSF）和伍德罗•威尔逊奖学金（Woodrow Wilson National Fellowship Foundation）的获得者都选择进入了排名前十的研究生院。
卡特的研究对日后美国博士生教育质量评估产生了积极影响。一方面，它从院系的角度而非大学整体来考察各领域博士生教育的质量；另一方面，它也试图制定一个可能影响博士生教育质量的指标体系，使这一研究可以复制和对比。尽管这一研究招致了诸多批评，认为它是“闲扯”（Compendium of Gossip），不过，不论从调查的目的还是所利用的方法论上，它获得了大部分人的高度认可和赞赏，研究报告1966年出版后，仅ACE的出版部就售出了26，000本复印本。[11]
（二）1969年罗斯与安徒生的研究
在1964年质量评估初期，ACE就决定要定期重复前一次的评估，这样才能发现各个院系在一段时期内的变化情况。1969年罗斯（Roose）和安徒生（Andersen）的研究主要基于以上原因。在评估目的上，罗斯和安徒生强调其研究不是“鼓励自负”，而是提供“情报”。他们希望报告的读者们“去思考质量的维度，而不是具体的强弱排序”，这样做的另一个理由是他们认为应该保护那些在不合格博士点中就读的学生。在样本量上，他们选择了131所大学的36个学术领域，共计2，626个博士点，比1964年的样本数多了55%。[12]
在研究设计上，1969年的研究试图降低在很多分数评估系统中固有的强弱排序（Pecking Order）。不过，作为1964年的一个后续研究，罗斯和安徒生尽可能对比各博士点在这5年的变化和发展情况。这种对比不论对“消费者”、大学管理者、院系主任或政策制定者而言都是非常有价值的，尽管分数的变化经常出现“几家欢乐，几家愁”的局面。ACE于1970年出版了《研究生项目排名》（A Ratings of Graduate Programs）的最终研究报告。从报告的题名可以看出，它没有将“质量”（Quality）一词纳入进去。罗斯和安徒生认为，他们的研究并未对“质量”模糊不定的特性进行具体分析。研究也表示，单纯地依赖声望作为判断质量的方法是有问题的。例如，有人指出某个教师可能在自己的专业领域非常有声望，但他在12年内没有指导过一名博士生。[13]这也说明，“教师的学术声望”与“教育质量”是不同的概念，教育质量不可能完全凭借学术竞争力来进行评估。
三、全美研究委员会的博士生质量评估
全美研究委员会（National Research Council，NRC）对博士点的评估已有近30年的历史，其首次对全美范围内的博士点进行评估开始于1978年，迄今共实施了3次。NRC调查的特点是范围广，且数据收集更全面。
（一）1980年和1993年的博士生质量评估及其方法论
从1980年开始，NRC对200多所博士生授予大学的32个学科领域，共计2，699个博士点进行了评估。其评估的目标主要包括四个方面：研究结果对国家或州的重要性；鼓励继续加强博士生教育质量；了解自1969年罗斯和安徒生研究以来，目前各个博士点的质量变化情况；扩展博士生教育的评估维度。在这些目标下，NRC审慎考虑了对早期排名的批评，试图努力解决这一方法论的缺陷，其中最重要的就是利用多元化的评估方法。不过，NRC也意识到，无论采用多少维度，评估也无法令所有人满意，尤其是那些坚持博士生教育质量无法量化的人。
NRC的评估主要基于三方面的原则：第一，要关注与博士点质量相关的所有变量；第二，要关注收集和汇编可信赖的数据，以利于同研究领域间的对比；第三，NRC的研究只考虑适用于其所调查学科的那些变量。[14]基于这些考虑，NRC对人文、社会和行为科学、生物科学、数学与物理科学以及工程学5个领域的博士点进行了评估。评估的维度包括：（1）博士点规模，包括博士点的教师数量、毕业生数量（5年内）、学生数量；（2）学生特征，包括获得国家奖学金的学生数、获得博士学位的平均时间、毕业生就业比例、在学术领域（主要是研究型大学）就职的毕业生数量；（3）声望调查，包括教师的学术影响力、博士点的效力、质量改进的程度（5年内博士点质量排名变化情况）；（4）物质资源，包括图书馆资源、教师获得研究资助的比例、研究经费总额、教师的论著数等。[15]
从1993年开始，NRC实施了第二次博士生质量调查，这次的方法论与1982年基本相同。它于1995年提交了《美国的研究型博士学位项目：继承与变革》（Research-Doctorate Programs in the United States：Continuity and Change）的调查报告。这一次的调查领域覆盖了艺术与人文、生物科学、工程学、物理与数学以及社会与行为科学五大领域的30个专业，对象包括约78，000名教师和这五个领域在1986年～1992年间“生产”的90%的博士，共涉及214所大学的3，634个博士点。[16]
（二）2006年调查及在方法论（Methodology）上的改进
从2006年开始，NRC着手于第三次博士点质量评估，并于2010年发布了其研究报告，这一报告覆盖了62个研究领域，包括了212所大学的5，000多个博士点。此次调查对研究领域的选择标准是至少25所大学拥有这一领域的博士点，对大学的选择标准是在过去5年至少授予了500个哲学博士学位，而对博士点的选择是在过去5年至少授予了5个博士学位。[17]NRC希望大学教师、管理者和资助人能够根据他们的数据和评估结果，比较、评价和改进各自的博士生教育，也可以让学生通过这样的比较来选择适合自己的博士点。
在每次评估之前，NRC都会将其研究方法和研究设计以报告的形式公布于众，以使研究者以及关心美国博士生教育的人士了解研究设计、数据收集、分析以及整个评估过程，以更好地理解和使用最后的调查结论。[18]在这次评估结果发布之前，NRC于2009年首先公布了调查的方法论以及对方法论的重要修订。[19]NRC希望这一方法论成为改进美国博士生教育重要且透明的工具。
在研究设计上，NRC关注了对教师、学生、管理者、资助人以及其他利益相关者都非常重要的维度，建立了丰富的关于大学、博士点、教师及公共资源方面的数据库，用来评估博士点的质量和效力。表1和表2是此次调查的问卷内容及指标体系。 表1 问卷类型及内容 问卷类型 问卷设计 大学问卷 要求大学提供满足标准的博士点名单 博士点问卷 询问学生、教师和博士点的相关情况，例如过去5年授予的哲学博士学位数、学生的毕业时间、学位完成率以及毕业后学生的就业情况，并提供博士生导师名单 教师问卷 教师个人的教育、工作历史、出版记录、最近5年内直接指导过的博士学位论文数量以及他们认为与博士点质量最相关的维度或因素，并询问他们是否愿意为自己领域的博士点进行排名 学生问卷 调查高年级学生的教育背景、GRE成绩、经济资助、论著、研究经历、研究或教育训练以及毕业后的计划 排名问卷 发放给那些回答了教师问卷并愿意进行博士点排名的教师，让他们提供一份本研究领域的博士点排名 表2 评估指标体系 一级指标 二级指标 教师人均出版记录 引用率(除人文和计算机科学) 教师研究活动(Research Activity) 教师拥有研究资助的比例 获得的公认的荣誉和奖励(例如诺贝尔奖和国家科学院院士等) 获得第一年全额资助的学生比例(国家奖学金) 在给定期限(4年)内学生完成学位的比例 学生资助情况及毕业出路 获得学位的平均时间 学术机构就职(包括学术性的博士后职位)的比例 学生最终的就业情况 来自少数族裔的教师以及女性学生的比例 学术环境的多样性 国际学生的比例(持临时护照) NRC的2010年报告确定了多个维度对博士点的质量和效力进行考察，较之早期的博士生教育评估，它在方法论上更科学。首先，让教师们来确定影响博士生教育质量的各个变量，避免了早期评估中单纯的声望排名所带来的局限。其次，NRC的评估充分认识到了不同学科或研究领域间在博士生教育上的巨大差异，因此它根据学科特点并由各领域的研究者们来对各变量赋权重。总之，由于各领域博士生教育的多元化特征，难以存在单一的评估标准。NRC研究的客观性表现在，它允许所有的利益相关者对他们认为重要的变量进行赋值，并基于这一基础对博士点进行比较，因此它在目前是一个较有说服力的评估方法。
注释：
①本文系教育部人文社会科学重点研究基地北京师范大学比较教育研究中心2008年度重大项目“高等教育质量保证体系的国际比较研究”（项目编号：08JJD880235）的阶段性成果。
参考文献：
[1][2][3][7] Lawrence，Judith K．，Kenneth C．Green．A Question of Quality：The Higher Education Ratings Game．AAHE-ERIC／Higher Education Research Report．Washington，D．C．：American Association for Higher Education，1980．
[4][5] Hayward Keniston．Graduate Study in Research in the Arts and Sciences at the University of Pennsylvania．Philadelphia：University of Pennsylvania Press，1959．
[6][8][9][1O] Allan M．Cartter．An Assessment of Quality in Graduate Education．Washington，D．C．：American Council on Education，1966．3．5．7．
[11][12][13] Roose，Kenneth D．，Charles J．Andersen．A Rating of Graduate Programs．Washington，D．C．：The American Council on Education，1970．3．24．
[14][15] David L．Tan．The Assessment of Quality in Higher Education：A Critical Review of the Literature and Research．Research in Higher Education，1986 Vol．24，No．3：223～265．
[16] Marvin L．Goldberger，Brendan A．Maher，Pamela Ebert Flattau．Research Doctorate Programs in the United States：Continuity and Change．Washington，D．C．：National Academy Press，1995．
[17][18] Jeremiah P．Ostriker，Charlotte V．Kuh，James A．Voytuk．A Data-Based Assessment of Research-Doctored Programs in the United States．Committee to Assess Research-Doctorate Programs ．Washington，D．C．：The National Academies Press，2010．
[19] Jeremiah P．Ostriker，Paul W．Holland，Charlotte V．Kuh，James A．Voytuk．A Revised Guide to the Methodology of the Data-Based Assessment of Research-Doctorate Programs in the United States．Committee to Assess Research- Doctorate Programs．Washington，D．C．：The National Academies Press，2010．