题库类产品如何计算题目的难度值

标签：

一、引言

题库类产品（如猿题库、易题库等）的一个标配功能是预测用户未来要进行的某项考试得分，我们称之为目标考试预测分。以猿题库高考为例，即将参加高考的学生通过在题库上做大量练习，练习的效果会以学生的高考预测分呈现出来，这是学生最关注的指标，也是整个题库产品中最关键的数据。
为了让“预测分”数据更加准确，我们引入了能力评估模型，通过测算用户在所有知识点上的能力水平，并将其量化成为一个数值。能力评估模型中有两个重要参数：题目难度值、用户答题的正确率。简化为：
A＝f(a_n,d)
其中A表示能力值，a_n表示所做n道题目的难度值，d表示用户做这n道题目的正确率。参数d的值是可轻易计算得出，而a_n的值决定于这n道题每一道题的难度值。
于是，单题难度值的计算成为准确预测用户预测分的关键因素。

二、什么样的题目才算“难题”

我们这样定义“难题”：解题的逻辑、思路迂回复杂，所关联的知识点综合性强。
有一些情形，表面上似乎能证明这是一道“难题”，但并不属于我们考虑的范围：

• 基础易错题：考察概念性、定义类的基础知识题目，但题目会设置若干干扰性强的易错项。
• 多知识点平行考查：考查多个知识点，但知识点之间的关联性小，在题目内的综合度低。
• “超纲题”：答题者觉得“难”并不是因为这是一道逻辑复杂的题，而是解答此题需要用到的知识并不在答题者的所学范围以内；如二元一次方程的题目出现在一元一次方程的课后习题里。

这些因素会在后续计算难度系数时剔除掉。

三、如何给一道“难题”确定难度系数

难度系数反映题目的难易程度，描述考生在答题时的失分情况。一般地，难度系数的计算公式为：
L=1-X/W
其中，L为难度系数，X为样本平均得分，W为试卷总分（对于单题而言，W为该题的分值）。
这是在有足够答题数据的前提下建立的难度计算公式，而题库类的产品中题目被作答的次数是有一个累积的过程，对于新入库的题目，这个计算公式并不适用。针对题库产品的特性以及题目难度系数计算公式的适用问题，我们按以下步骤来确定并校准题目的难度系数：

1. 人工标记题目初始难度
   新题目在录入、解析的环节中，由教研人员根据一定的标准（如上述第二部分中“难题”的标准），给题目录入一个初始难度值，难度值的范围为1～10共10个等级，这个值越大代表这道题的难度越大。
2. 题目被大量作答后，提取正确率并计算难度系数
   根据公式L=1-X/W计算该题难度系数。
3. 比对步骤1和步骤2中产生的难度值，确定题目的最终难度系数
   如果难度值为1～3，而难度系数为0.7～0.9，则用人工初始难度值转化为该题的难度系数，并把这道题交由教研人员重新评估题目的难度值，并检查此题是否出现在了超纲的位置。此外的其他情形，都用新计算出来的难度系数来取代初始难度值。
4. 步骤3中教研人员重新评估题目难度值的环节中如果发现严重的偏差，则在修正后用难度系数来取代初始难度值。

四、小结

引入经典的难度系数计算公式，再通过与人工标记的难度值进行比对修正，使得题目的难度量化更加合理，为能力评估模型提供更准确的参数。

题库类产品如何计算题目的难度值

标签：

原文地址：http://www.cnblogs.com/eecc/p/4579604.html