Evaluation model of online and offline teaching quality of higher mathematics based on PCA:a case of Tiangong University*
受全球新型冠状病毒疫情的影响,国内传统线下教学受到较大影响.为了正常推进教学任务,2020—2021年春季学期,大部分学校采取“停课不停学”的线上模式开展教学,以人工智能和大数据为代表的新媒体技术促使线上教学模式蓬勃发展[1].
近年来,国内外有很多关于线上教学模式的探索性研究 .如:Anthony 和 Rohani[2]对同步直播课堂进行了实证研究,认为线上教学在学生参与感上与传统线下教学的差异不大;Park[3]从学生线上评教入手,采用问卷调查法对线上教学现状进行调查分析,结合学生线上评教数据、调查问卷、访谈教师和学生,通过单因素方差分析的方法,探究不同类别学生评价的差异性;樊顺厚和章素梅[4]指出课堂教学的有效性就是师生协同参与,并且在课堂中相互作用,以有效途径达成教学目标的过程;Madelynn等[5]采用难度系数计算方法,基于大规模开放在线课程(massive open online courses,MOOCs)学习者形成性测试成绩,对中国MOOCs形成性测试难易程度进行判断,结合失分率和信度指标,得到MOOCs形成性测试难度系数自动学习收敛模型,并应用于一门中国MOOCs进行可行性和科学性验证.综上,当前通过大数据分析,对于教学模式导致成绩差异性的研究仍处于起步阶段[6],因此,对于教学模式导致成绩差异性的研究具有重要意义.在对成绩评价中,本文采用了新的指标体系,构建区分度、难度和偏度等特殊指标,探究单一的线上教学模式与传统线下教学效果的差异性.本文以天津工业大学2018—2019学年(2018级)和2019—2020学年(2019级)秋季学期的线下教学与2019—2020学年春季学期的线上教学期间全校高等数学考试成绩为样本,高等数学仅面向大一学生授课,对所研究的指标进行降维,选取主要影响指标,用建立的主成分分析(principal compoment analysis,PCA)模型,对2个学年不同专业、不同班级线上线下学习效果进行差异性比较,推断学生线上学习状态.依据上述分析结果,对未来的教学方式进行合理化改进.
对教学效果评价需要考虑多个考察指标.在多指标的成绩样本中,可以通过降维手段提取出评估教学效果的虚拟指标[7],常用有效手段为PCA.
PCA是多个线性相关的变量降维成几个核心变量的一种多元统计方法.假设x为m维随机变量,其均值是μ,协方差矩阵是R.考虑由m维随机变量x到m维随机变量y的线性变换.
③设变量y1是x的所有线性变换中方差最大的;y2是与y1不相关的x的所有线性变换中方差最大的;一般地,yi是与 y1,y2,…,yi-1(i=1,2,…,m)都不相关的x的所有线性变换中方差最大的;此时分别称y1,y2,…,ym为x的第1,2,…,m主成分.
利用主成分对多维数据降维的过程如下:
(1)对样本矩阵X的列进行标准化变换.设训练样本数为n,给定样本矩阵:
式中:Xi=(xi1,xi2,…,xin)是 x的第i个指标的 n个独立观测样本,i=1,2,…,m.标准化矩阵后各元素值为
式中:si为第 i个指标对应的标准差,
为 n 个独立观测样本的均值.仍用X表示标准化后的矩阵.
(2)计算指标变量的协方差矩阵D.针对X ∈ Rn×m,协方差矩阵D为
(3)计算载荷矩阵.求样本协方差矩阵对应的m个 特 征 值 λi(i =1,2,…,m).不 妨 设 λ1≥ λ2≥ … ≥λm≥0,对应的单位特征向量为vi,称特征向量vi为主成分载荷.构造正交矩阵V,该正交矩阵称为主成分载荷矩阵[8].这个过程即为D的特征分解,D=VΛVT,Λ为由特征值构成的对角阵.
(4)确定主成分个数.称
为第i个主成分的信息贡献率,记为Ui.记
为累计贡献率.前i个主成分的累计贡献率超过某个阈值时(本文取75.00%),取前i个主成分代替原来的m个指标[9],记为i0,表示选取的主成分个数.
(5)构建主成分模型.对降维后的i0个主成分,构建主成分模型表达式为
D矩阵每一个列向量可以视为n个样本的i0个主成分上形成的投影向量,投影所得向量可以称为主成分得分向量.
主成分法对高维数据样本向量的作用相当于对超平面的点(样本),在低维的某个子空间下的投影,如图1所示.
图1 高维向量在低维平面的投影
考虑不同专业的高等数学成绩的差异,将每个专业成绩汇总的统计量作为指标,拟通过PCA提取出最能体现出教学效果的虚拟指标.本文由各专业成绩导出了10个可能反映教学效果的统计量[10],并对各统计量的实际含义作出了解释.
(1)样本均值.在某个学期,对研究群体的学生编号记为 i=1,2,…,k,ai表示第 i个学生的成绩 .成绩的平均值直接反映该群体(注:群体是指研究对象的范围,可以是班级、专业、年级、学院和全体参加高数考试的学生等)学生成绩的整体水平,公式为
式中:μ表示学生成绩的平均值,k表示该群体参与考试的学生总数.
(2)样本标准差.标准差可以体现该群体每个学生成绩差异的波动程度,用S表示为
(3)偏度.偏度通过样本的三阶原点矩和二阶原点矩计算所得,反映了学生成绩分布与均值的偏离程度.计算公式为
式中:偏度>0,表示高于平均分的学生更多,该群体整体学风较好;偏度<0,说明大部分学生成绩低于平均水平,只有个别学生成绩比较优异,该群体学风较差.k3=E[a 3],k2=E[a2]分别表示样本的三阶原点矩和二阶原点矩.σ表示总体标准差,其平方为二阶中心矩,即
(4)区分度[11].区分度是考试试题对考生实际解题能力和要考查的各知识点掌握水平的区分程度,是将考生区分开的统计量.区分度指标高的试题可以将不同水平和能力的学生区别开来,有助于对学生的能力进行鉴别,同时也体现了教学效果的高低.不同班级学习状况不同,同一套试卷对不同专业的区分度不尽相同.本文采用相关度法计算区分度.相关度法用该试题的成绩与效标成绩的相关系数作为该题的区分度指标,通常,效标成绩较难取得,因此用检验总成绩来代替,求该题成绩与其测验总成绩的相关系数,若相关系数较高,意味着该试题的区分度较高[12].该相关度计算方法为
(5)中位数.中位数是该群体学生成绩的中间水平[13],相对于样本均值,不易受个别学生极端分数的影响(分数很高和分数很低的少数学生可能会给学生的成绩均值带来较大影响).对排序的成绩![]()
(6)众数.众数是群体中获得相同成绩最多人数的分数,体现了成绩分布最密集的趋向,能在一定程度上解释教学水平的高低[14].
(7)难度.试题难度与学生成绩有很强相关性,能间接影响对教学效果的判断[15].对于每道题难度的计算方法是
式中:pj表示第j题的难度,Rj表示第j题的通过率.计算通过率[16]方法为
式中:Aj表示第j题的学生平均得分,Yj表示第j题的总分数,aij表示第i个学生第j题的成绩.试卷整体难度为各题目难度的加权平均数,计算方法为
式中:p表示该试卷的整体难度,Y表示试卷总分,pj表示第j题的难度,Yj表示第j题的总分数.
(8)最高分.各专业最高分体现了每个专业的尖子生的学习水平[17].
(9)极差.每个专业的分数极差是最高分与最低分之差,是成绩分布情况的一种写照[18],但容易受极端值的影响.
对于每个群体的某个学年,可以获得一个9维向量的样本.进而通过PCA法降维,建立教学效果的评价体系.每个学年的教学效果的主成分虚拟系数进行横向比较,可判断不同学年教学效果的差异是否具有显著性.
本文将天津工业大学2018—2019和2019—2020学年秋季学期的线下教学与2019—2020学年春季学期的线上教学期间,全校高等数学考试成绩作为研究对象,其中,由于不同专业对高等数学的学习要求不同,2018—2019学年春季学期的教学分为90和45学时,按学时研究讨论.9个指标数据如表1所示,线上教学2个学期的平均值分别为50.3、56.3分,中位数分别为49.0、58.5分,均显著低于线下各学期的平均值与中位数,表明线上教学总体成绩不如线下教学成绩优异.线上教学2个学期成绩的标准差分别为23.4、21.2分,均大于线下教学成绩的标准差,表明线上教学2个学期成绩较线下教学成绩更为分散,偏离平均值的程度更大.线上教学与线下教学极差较为相近,表明最高分与最低分之差在2种教学方式下无显著差异.由难度和区分度具体数值对比可知,线上教学的2个学期试卷难度与区分度明显较线下教学降低.从表1中各个指标数值对比分析,线上教学确实较线下教学部分指标有所下降,后面文字将会用数学模型,量化2种教学效果差异.补充表中主要反映的数据结果.
表1 样本指标数据统计 单位:分
授课方式学期平均值标准差偏度极差中位数众数最高分难度区分度教学效果线下线上2 0 1 8—2 0 1 9学年秋季学期2 0 1 8—2 0 1 9学年春季学期9 0学时2 0 1 8—2 0 1 9学年春季学期4 5学时2 0 1 9—2 0 2 0学年秋季学期2 0 1 9—2 0 2 0学年春季学期9 0学时2 0 1 9—2 0 2 0学年春季学期4 5学时7 6.2 6 4.1 6 2.1 7 1.8 5 0.3 5 6.3 1 5.9 2 0.3 1 9.4 1 6.5 2 3.4 2 1.2-1.2-0.6-0.6-0.7 0.1-0.4 1 0 0.0 1 0 0.0 9 9.5 9 2.5 1 0 0.0 9 8.5 8 0.0 6 6.5 6 4.5 7 4.0 4 9.0 5 8.5 8 8.0 7 5.0 6 9.0 8 0.0 3 9.5 7 6.0 1 0 0.0 1 0 0.0 1 0 0.0 1 0 0.0 1 0 0.0 9 8.5 0.8 0.6 0.6 0.7 0.5 0.6 0.8 0.6 0.6 0.7 0.5 0.6 1.7 1 2 9 0.5 2 6 5 0.4 8 5 5 1.6 5 1 0-0.7 1 6 1 0.0 2 6 2
对所有专业的高等数学成绩进行正态性检验,全校学生各学期的高等数学成绩的P值均<0.05(0.024 6~0.037 6),说明拒绝原假设,显著性较强,统计数据符合正态性检验.
进而对数据进行标准化处理,将所有数据指标映射到[0,1][19].依据主成分分析模型和选取的 9个影响指标,运用MATLAB 2015b编程,得到指标的特征值和贡献率如表2所示.第一个主成分的贡献率76.92%,达到了75.00%的要求,表示其承载了高等数学教学效果的主要综合信息,在很大程度上能够反映学生的学习情况,从而建立评价体系.
表2 特征值及贡献率
指标序号1 2 3 4 5 6 8 9特征值7.6 9 2 3 1.1 5 3 4 1.0 2 0 7 0.1 0 8 3 0.0 2 5 2差分6.5 3 8 8 0.1 3 2 7 0.9 1 2 4 0.0 8 3 1 0.0 2 5 2贡献率0.7 6 9 2 0.1 1 5 3 0.1 0 2 1 0.0 1 0 8 0.0 0 2 5 0 0 0 0 0 0 0 0 0累积贡献率0.7 6 9 2 0.8 8 4 6 0.9 8 6 6 0.9 9 7 5 1.0 0 0 0 1.0 0 0 0 1.0 0 0 0 1.0 0 0 0
将以上9个指标转化为一个主成分指标,起到明显的降维效果,从而得到主成分载荷矩阵(表3)如下.由主成分载荷矩阵表可得前3个主成分的线性组合表达式为:
表3 主成分载荷矩阵
注:xi为表1中从平均值到区分度的9个指标(i=1,2,…,9);Zj为主成分分析获得10个的主成分(j=1,2,…,10).
主成分Z 1 Z 2 Z 3 Z 4 Z 5 Z 6 Z 7 Z 8 Z 9 Z 1 0-0.6 1 0.0 7 0.4 3 0.3 4-0.0 9 0.3 5 0.3 8 0.1 6-0.0 8 x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 0.3 6-0.3 6 0.3 4-0.3 4-0.1 2 0.3 6 0.3 2 0.1 1 0.3 6 0.0 6 0.0 3 0.1 2 0.0 7 0.3 1 0.0 1-0.3 8 0.8 5 0.0 6-0.0 5 0.1 2 0.2 5-0.2 8 0.8 7 0.0 1 0.1 6-0.2 6-0.0 5 0.0 5 0.1 6-0.6 9 0.0 2 0.1 6 0.1 6 0.6 0 0.2 9 0.0 3 0.2 6 0.6 7 0.1 2 0.4 2 0.0 2 0.0 8-0.0 5-0.1 7 0.3 6 0.6 2 0.0 8 0.1 9 0.2 0-0.0 4 0.2 9 0.1 0 0.0 3-0.4 7 0.1 7-0.1 8 0.2 4 0.3 0 0.0 3-0.7 6 0.4 4 0.1 3 0.0 2 0.0 5-0.5 9-0.1 9 0.6 1 0.3 2 0.2 3-0.1 5-0.2 0 0.1 3 0-0.0 2-0.0 1 0.0 2 0.0 1 0.0 1-0.0 1-0.0 1-0.7 0
式中:x1、x2、x3、x4、x6和 x9分别为均值、标准差、区分度、偏度、众数、极差,其特征向量值的绝对值相对更大,指标对主成分的贡献也就越高;x1、x3、x6和x9具有较大的正载荷;x2和x4具有较大的负载荷.考虑到指标之间的共性,都可以体现学生的学习情况,反映教学效果,基本可以将 Z1视为 x1、x2、x3、x4、x6和 x9的综合变量,因此定义第一主成分为教学效果指数.
将 2018—2019、2019—2020学年秋季学期与2019—2020学年春季学期的全校高等数学考试成绩代入PCA模型,可进行教学效果的差异性比较.根据上述模型,将相关指标值带入,得到教学效果的累积贡献率.线上教学的数值明显减小,其中2019—2020学年春季学期90学时的教学效果值为-0.716 1,说明教学效果较差,学生对高等数学下册知识的吸收不到位,导致成绩明显低于同时期往年线下学习的期末成绩;2019—2020学年春季学期45学时的教学效果值为0.026 2,说明对该类学生的教学效果不显著.与2018级学生秋季学期线下学习效果相比,2019级学生教学效果代表值为1.651,教学效果差异较小,说明学生线下学习时,对所学知识的吸收情况基本无差异.
为了更清楚地展示线上与线下教学的差异性,本文将2个学年同时期的教学效果值作差,其中负号表示后一年相对于前一年的教学效果降低.绘制条形图如图2所示.对于同为线下教学的第一学期,2019级学生整体对高等数学的掌握情况仅比2018级低0.061 9,说明教学效果基本无异,2个年级的学生整体素质无差别.由于新型冠状病毒疫情的原因,2019级的高等数学春季学期在家进行线上教学,90学时的课程难度和知识量>45学时,故教学效果差异值也最大;同比2018级90学时,下降值达到1.242 6,45学时的下降值为0.459 3,说明学生在家线上学习高等数学的学习效果不佳,导致期末考试成绩较低.
图2 不同学年教学效果的差异性比较
在新型冠状病毒肺炎疫情的背景下,本文以天津工业大学全校2018和2019级学生的高等数学期末卷面成绩为样本,运用PCA和控制变量的方法,利用MATLAB 2015b软件,定义第一主成分为教学效果指数,从而研究了线上与线下教学效果的差异性.得到如下结论:通过第一主成分模型可知2018—2019学年秋季学期和2019—2020学年秋季学期的线下教学效果代表值基本持平,说明2018和2019级的学生整体素质无明显差距;对于2019—2020学年春季学期的线上教学,与2018级学生的成绩相比,2019级90学时学生的高等数学期末成绩不理想,教学效果差异值最大;2019级45学时的学生对知识掌握也欠佳,教学效果差异较明显.
通过教学效果差异性数值和相关调研,可得到结论:多数学生在家的自主学习性不高,虽然高等数学课程均为线上直播课,且会有签到、作业等日常任务,但学生们受到的监督远不及在校的线下教学.受网络、家庭等外界多种因素影响,对于答疑、作业指导等工作也不能及时完成,学生在家各自为营,欠缺相互讨论的学习氛围,在期末复习时没有紧张感,这些因素都导致了2019级学生期末成绩普遍偏低.
综上所述,由于新型冠状病毒肺炎疫情在世界范围内还没有完全平息,多数高校会采取提前放寒暑假的措施,为了学生错开旅途高峰顺利返家,高等数学课程可以采取线上线下结合的教学方式,避免纯线上的监督不力等问题,同时打破传统单一线下教学的格局,找到最佳的教学方式.
[1]李中杰.大学生对线上教学评价的差异性分析[J].镇江高专学报,2020,33(4):102-104.
[2] ANTHONY F A,ROHANI L.Exclusively synchronous online (VIRI) learning: the impact on student performance and engagement outcomes[J].Journal of Marketing Education,2018,41(1):60-69.
[3]PARK Y E.Uncovering trend-based research insights on teaching and learning in big data[J].Journal of Big Data,2020,7(93):1-17.
[4]樊顺厚,章素梅.从学生评教统计分析看青年教师教学能力的成长规律[J].教育教学论坛,2014(14):49-50.
[5]MADELYNN S,LOREN F,CARLY D,et al.Why massiveopen onlinecourses(MOOCs) havebeen resisted:a qualitative study and resistance typology[J].Innovations in Education and Teaching International,2020,57(4):1-10.
[6]李芳,樊顺厚.协方差分析在教学质量评价中的改进[J].天津工业大学学报,2008(2):85-88.
[7]张生华.基于主成分分析和聚类分析的高职高等数学分层教学设计[J].扬州职业大学学报,2019,23(4):49-52.
[8]王俊红,樊顺厚,邓一泉.影响学生学习成绩因素的探究与分析[J].天津工业大学学报,2007(6):86-88.
[9]刘丽田.地方综合性大学学生通识教育认知度及其影响因素研究[D].聊城:聊城大学,2018.
[10]庄楠楠.多元统计分析方法在高校教学评价中的应用[D].湘潭:湘潭大学,2017.
[11] ELIF C.MOOCs:an overview of the implications for counsellor education[J].British Journal of Guidance&Counselling,2019,47(3):342-354.
[12]WEI Z,SHIMING Q,BAOLIN Y,et al.Study on learning effect prediction models based on principal component analysis in MOOCs[J].Cluster Computing,2019,22(6):S15347-S15356.
[13]张京洲,周艳丽,江芳.线上教学课程综合服务能力评价:基于主成分分析法的实证研究[J].安徽商贸职业技术学院学报(社会科学版),2020,19(4):73-76.
[14] ANUPMA S,ANURAG S,POONAM P.Development and validation ofan attitude scale towardsonline teaching and learning for higher education teachers[J].TechTrends,2020,65(1):1-9.
[15]吕琳琳.大学数学课程线上线下混合式教学模式探索[J].黑龙江科学,2019,10(17):84-85.
[16] ZHOU S X, FENG JW.University teachers’performance comprehensive evaluation based on principal component analysis[J].Higher Education of Social Science,2015(8):34-39.
[17]HU R,LI Z Y,MOU W Y.The application of principal component analysis in the analysis of teaching quality[J].Statistics and Application,2018,7(2):263-270.
[18]万超.小学创客课程开发与实践研究[D].长春:东北师范大学,2019.
[19]冯强.基于主成分分析模型的高职数学课信息化教学评价[J].现代信息科技,2019,3(23):101-103.