Recent work has explored the use of large language models for generating tutoring responses in mathematics, yet it remains unclear how closely their instructional behavior aligns with expert human practice. We examine this question using a controlled, turn-level comparison in which expert human tutors, novice human tutors, and multiple large language models respond to the same set of math remediation conversation turns. We examine both instructional strategies and linguistic characteristics of tutoring responses, including restating and revoicing, pressing for accuracy, lexical diversity, readability, politeness, and agency. We find that large language models approach expert levels of perceived pedagogical quality on average but exhibit systematic differences in their instructional and linguistic profiles. In particular, large language models tend to underuse restating and revoicing strategies characteristic of expert human tutors, while producing longer, more lexically diverse, and more polite responses. Statistical analyses show that restating and revoicing, lexical diversity, and pressing for accuracy are positively associated with perceived pedagogical quality, whereas higher levels of agentic and polite language are negatively associated. Overall, recent large language models exhibit levels of perceived pedagogical quality comparable to expert human tutors, while relying on different instructional and linguistic strategies. These findings underscore the value of analyzing instructional strategies and linguistic characteristics when evaluating tutoring responses across human tutors and intelligent tutoring systems.


翻译:近期研究探索了利用大型语言模型生成数学辅导回应,但其教学行为与专家人类实践的吻合程度尚不明确。我们通过受控的轮次级比较来研究这一问题:专家人类导师、新手人类导师及多个大型语言模型对同一组数学辅导对话轮次作出回应。我们分析了辅导回应的教学策略与语言特征,包括重述与转述、准确性追问、词汇多样性、可读性、礼貌程度及主体性。研究发现,大型语言模型在感知教学质量的均值上接近专家水平,但在教学与语言特征上存在系统性差异。具体而言,大型语言模型倾向于较少使用专家人类导师特有的重述与转述策略,同时产生更长、词汇更多样、更礼貌的回应。统计分析表明,重述与转述、词汇多样性及准确性追问与感知教学质量呈正相关,而较高程度的主体性语言和礼貌用语则呈负相关。总体而言,近期大型语言模型展现出与专家人类导师相当的感知教学质量水平,但依赖于不同的教学与语言策略。这些发现强调了在评估人类导师与智能辅导系统的辅导回应时,分析教学策略与语言特征的重要性。

0
下载
关闭预览

相关内容

专知会员服务
33+阅读 · 2021年7月27日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员