第5章 仿真模型的检验与验证 教案
| 项目 | 内容 |
|---|---|
| 课程名称与性质 | 交通运输系统仿真(Transportation System Simulation);交通运输专业本科专业必修课(理论课) |
| 课程编号·学分·学时 | 0030108805;2 学分;32 学时;第 V 学期 |
| 授课对象 | 交通运输专业本科生(2023 级) |
| 授课教师 | 李季涛(交通运输工程学院交通运输系) |
| 使用教材 | 李季涛编《交通运输系统仿真——使用AnyLogic》,中国铁道出版社,2025 |
| 对应课件 | 课件 05《仿真模型的检验与验证》(交通运输系统仿真课程课件-2025-05,共 30 页) |
| 对应大纲模块与课程目标 | C5 前半(仿真模型的检验;输入-输出变换的验证);支撑 O4。与课程作业 4、课程设计的"模型检验与验证"部分衔接 |
| 本章学时 | 2 学时(1 课次,90 分钟) |
课程教学进度安排
| 课次 | 周次 | 教学内容(对应课件页码范围) | 学时 |
|---|---|---|---|
| 15 | 第 17 周 | 5.1 仿真建模过程与检验和验证(S3–S6);5.2 仿真模型的检验(S7–S9);5.3 仿真模型的验证:表面效度、模型假设的验证、输入-输出变换的验证(假设检验法、置信区间法)、使用历史数据与图灵测试(S10–S28);本讲总结(S29) | 2 |
说明:教学进度表将本讲列为"6. 仿真模型的检验与验证(6.1 检验,6.2 校验与验证)",课件内部编号为"第 5 讲 5.1–5.3",本教案按课件编号书写。进度表给出的重点为"检验验证与仿真建模过程的关系、输入-输出变换的验证",难点为"决策变量、不可控变量、置信区间",课程设计安排为"仿真实验及实验结果分析"。
教学目标与重点难点
教学目标
知识
- 能说出仿真建模三步(观察系统、构造概念模型、实现运行模型)的迭代关系,并区分"检验(正确地建立模型)"与"验证(建立正确的模型)"各自比较的对象(课件 S4–S6)。
- 能写出模型检验的 6 条基本建议,并解释"当前容量"与"总数"两个统计量的含义(S8–S9)。
- 能叙述验证三步法(表面效度、模型假设验证、输入-输出变换验证),并说明输入变量、不可控变量、决策变量、输出变量的区别(S6、S12–S20)。
能力
- 能依据一组"当前容量/总数"输出数据,判断模型可能存在的逻辑或数据设定错误(如服务台不足、子系统无实体进入、资源未释放)。
- 能对"仿真输出均值 vs 实际系统均值"(如课件地铁站安检系统实例)手工完成 检验与置信区间计算,并依据可接受误差 得出"接受模型/修改模型/需增加重复运行次数"的判断。
- 能为自己的课程作业 4 模型设计一份"检验与验证"提纲,指出哪些环节可做、哪些环节因缺少实际系统数据而做不了。
素养
- 养成"模型未经检验验证不得直接用于决策"的审慎态度,能向同伴说明模型的适用范围与局限。
- 能在小组内互相审查模型("建模者以外的人员检验"),形成同伴复核的习惯。
教学重点
- 检验与验证的概念区分,以及它们与仿真建模过程(迭代、反复比较)的关系(S4–S6)。
- 用"当前容量"和"总数"快速判断模型输出的合理性(S9)。
- 输入-输出变换的验证:前提条件、变量分类、假设检验法与置信区间法(S14–S26,以地铁站安检系统为例)。
教学难点
- "检验"与"验证"两个词容易混用。 突破策略:借"做对"与"做的是对的"的口语对照,并让学生用同一个自动售票机模型各举一个"检验问题"和"验证问题",当场归类。
- 用当前容量和总数反推模型错误,需要把数值与模型逻辑联系起来。 突破策略:用自拟诊断卡(三个时点的数据)让学生按"线性增长 / 总数为 0 / 当前容量与总数都为 1"三个特征逐项对号入座,教师只在最后点评。
- 决策变量、不可控变量、输入-输出变换概念抽象(进度表标注的难点)。 突破策略:以学生熟悉的铁路车站自动售票机为载体填一张"输入—输出变量分类表",再对照课件 S17–S19 的地铁站安检系统变量表。
- 置信区间法要结合可接受误差 判断,而"假设检验不拒绝"并不等于"模型正确"。 突破策略:先随课件安检实例演算( 检验不拒绝、置信区间的最坏情况误差小于 ,可接受),再用自拟的自动售票机数据( 检验不拒绝但置信区间不足以下结论),引导学生自己提出"需增加重复运行次数"。
思政目标
- S01 实事求是与数据诚信:验证的目的是发现模型的不足,而不是为了"通过"而挑选数据或随意调参。结合表面效度和图灵测试的做法(S12、S28),强调如实报告模型与实际系统的差异,这是工程师的职业底线。
- S02 安全与社会责任:安检、车站售票等系统的仿真结论会被管理者用于配置资源与制定策略(S11:使模型可被管理者和其他决策者使用)。未经验证的模型可能误导决策,铁路运输的安全与服务质量要求我们对模型"可信度"负责。
- S03 协同与尊重专业经验:课件强调让熟悉系统的人(现场管理人员、潜在使用者)参与建模与评价(S4、S12、S13)。引导学生尊重一线工作人员的经验,把课程设计小组内的互相审查当成正式环节。
教学方式与媒体资源
主要教学方式
- 概念对比讲授:以三条定义(国内学者、Kelton、Sargent,S5)加建模流程示意(S4、S6)讲清检验与验证。
- 课堂诊断练习:用"当前容量/总数"诊断卡,学生 4 人一组完成故障判断。
- 课堂手工演算:按 检验与置信区间两种方法,先跟随课件安检实例演算,再对自拟的重复仿真数据手工计算,与课程"手工仿真"主线保持一致。
- 角色扮演与盲测:模拟"潜在使用者"识别真实报告与仿真报告(图灵测试,S28)。
- 提问讨论:围绕课程作业 4 "我们的模型如何验证"展开。
使用媒体资源
- 课件 05(S1–S30):S4–S6 流程与定义,S8–S9 检验建议,S12–S15 验证三步法,S14–S26 输入-输出变换验证与地铁站安检系统实例,S27 历史数据验证,S28 图灵测试,S29 总结。
- AnyLogic:演示运行时监视模块实体数(课件 S8 提到的交互式运行控制/调试功能)。演示模型可选用课次 11–12 使用过的自动售票机排队模型,以教师实际模型为准。
- Excel:现场验算 、、 值与置信区间(
AVERAGE、STDEV.S、T.INV.2T)。 - 课堂自制材料:诊断卡、演算数据卡、"真实/仿真报告"盲测卡(见课前准备)。
- 课程网站:发布课件、演算数据卡与作业 4 的验证提纲模板。
参考书与参考资料
- 李季涛编. 交通运输系统仿真——使用AnyLogic. 中国铁道出版社, 2025(主教材)。
- Jerry Banks 著, 王谦译. 离散事件系统仿真(原书第 5 版). 机械工业出版社, 2019。
- Averill M. Law 著, 范文慧等译. 仿真建模与分析(原书第 5 版). 机械工业出版社, 2017。
- 刘亮编. 复杂系统仿真的 AnyLogic 实践(第 2 版). 清华大学出版社, 2023。
- Andrei Borshchev. The Big Book of Simulation Modeling. AnyLogic North America, 2013。
- 课件中引用的 Sargent(2015)、Kelton(2007)、Naylor 和 Finger 三步法(S5–S6),供学有余力的学生延伸阅读。
课前准备
教师准备
- 通读课件 05,熟悉 S16–S26 地铁站安检系统实例的数据与演算步骤;课前用 Excel 复算 S21 表中 列 10 次运行数据,准备现场演示表。
- 制作诊断卡(自拟):自动售票机模型运行 60、240、480 分钟时各部件的"当前容量/总数",见教学过程第三段。
- 制作演算数据卡(自拟):实际系统平均排队等待时间 与 5 次重复仿真的平均等待时间,见教学过程第五段。(练习数据)
- 准备盲测卡:真实观测报告与仿真输出报告各 3 份(课件建议各 5 份,课堂压缩),格式与指标完全一致、随机编号。真实观测可取自学生作业 3 的调研数据或教师已有车站观测记录。
- 调试 AnyLogic 演示模型和 Excel 验算表,确保课堂能现场演示。
学生准备
- 回顾课次 4–10:自动售票机系统、平均排队等待时间、服务台利用率等指标,以及重复仿真与置信区间(课次 7)。
- 回顾课次 14:拟合优良度检验与 值(本讲 S13 需要)。
- 携带计算器或笔记本电脑(Excel);带上课程作业 2 的 Excel 模型,以及作业 4 的选题草案。
教学过程
第 15 课次(第 17 周)仿真模型的检验与验证
| 环节与时间 | 教学内容(课件页) | 教师活动 | 学生活动 | 设计意图 / 学习证据 |
|---|---|---|---|---|
| 一、导入<br>6 分钟 | S1–S2:本讲提纲;回扣作业 2 的自动售票机 Excel 模型 | 提问:"你的 Excel 模型算出平均排队等待时间 3.2 分钟,你凭什么相信它?如果现场管理员问你'结果可信吗',你怎么回答?"请 2–3 名学生口头回答,板书其依据("公式没错""结果合理""和现场一致"……)。 | 回忆自己的作业 2,说出至少一条"相信/怀疑结果"的理由;其余学生补充。 | 引出"检验"与"验证"两类依据。证据:板书上学生给出的理由分类(自查程序 / 对照现实)。 |
| 二、5.1 建模过程与检验验证的概念<br>15 分钟 | S3–S6:建模三步及其非线性迭代;检验 = 正确地建立模型,验证 = 建立正确的模型;三条定义;主观与客观测试;Naylor 与 Finger 三步法 | 1. 讲建模三步(S4),强调"不是线性过程,要反复比较",在黑板画"实际系统 ⇄ 概念模型 ⇄ 运行模型"(S6 图),标出:实际系统与概念模型之间是概念验证,概念模型与运行模型之间是检验;模型整体与实际系统之间的比较、修改、再比较是验证/校验。<br>2. 对比三条定义(S5),请学生圈出各自的关键词("程序""工作""一致")。<br>3. 讲主观、客观测试(S6)与三步法。<br>4. 随堂小测:给出 4 个问题,让学生判断属于检验还是验证。 | 在笔记中画出三角关系图;完成归类小测,如:①AnyLogic 模块参数输错单位(检验);②模型输出的平均等待时间比现场偏低 30%(验证);③队列逻辑漏接了一条分支(检验);④现场管理员认为动画中旅客分流不像实际(验证,表面效度)。 | 把概念放进建模流程里理解,突破难点 1。证据:学生手绘关系图及归类小测的正确率;错误选项在课堂即时讲评。 |
| 三、5.2 仿真模型的检验<br>16 分钟 | S7–S9:检验的 6 条基本建议;用"当前容量"与"总数"判断输出合理性 | 1. 简述 6 条建议(S8):由建模者以外的人检验、画事件逻辑流程图、改变输入检查输出、变量与子模块的精确定义、检查动画、使用交互式运行控制/调试。每条配一句"你在作业 4 中会怎么做"。<br>2. 讲"当前容量/总数"定义和四种典型症状(S9)。<br>3. 分发诊断卡(自拟):自动售票机模型运行 60/240/480 分钟的数据。<br> 排队区:当前容量 6/23/47,总数 31/118/236<br> 售票窗口 A:当前容量 1/1/1,总数 25/95/189<br> 售票窗口 B:当前容量 0/0/0,总数 0/0/0<br> 退票口:当前容量 1/1/1,总数 1/1/1<br>4. 小组 5 分钟后汇报诊断,教师总结。<br>5. 用 AnyLogic 演示:运行时点击模块查看实体数,并在中途暂停单步调试(对应 S8 第 6 条)。 | 4 人一组,对每个部件写出:现象 → 可能原因 → 如何进一步核实。预期得出:排队区当前容量近似线性增长,说明窗口 A 不足或服务时间设定有问题;窗口 B 总数为 0,说明没有实体进入,可能是分流逻辑或条件写错;退票口当前容量与总数均为 1,可能是实体占用资源后未释放。 | 训练学生把统计量与逻辑错误对应起来(突破难点 2)。证据:各组诊断记录表。诊断卡数值为练习数据,宜在卡上注明。 |
| 四、5.3.1–5.3.3 验证概述、表面效度与模型假设的验证<br>15 分钟 | S10–S13:验证的两个目的;检验与验证同时迭代(S11:初始模型 → 第 1…n 次修改,每次均与实际系统比较);表面效度(使用者参与、灵敏度分析);结构假设与数据假设(机场值机例) | 1. 讲验证的两个目的(S11):足够精确以替代实际系统、使可信度提高到可被决策者使用;结合 S11 右图说明"校验"是把初始模型及每次修改后的模型反复与实际系统比较的迭代过程。<br>2. 讲表面效度(S12):使用者参与、评价输出合理性、灵敏度分析(大型模型输入变量多,只选最关键的输入变量做灵敏度实验)。<br>3. 方向判断活动:针对自动售票机模型,让学生写出以下改变会使平均排队等待时间"增大/减小/基本不变":窗口数增加、旅客平均到达间隔缩短、服务时间均值增大。教师追问:"若你的模型输出方向与直觉相反,说明什么?"<br>4. 讲结构假设与数据假设(S13,机场值机一队还是多队、高峰与非高峰到达间隔);对应到自动售票机:旅客是一队还是各窗口分别排队?数据来自哪里?并提示数据假设需要用到课次 14 的拟合优良度检验。 | 独立完成方向判断表,邻座交换核对;列出自动售票机的 1 条结构假设和 1 条数据假设,并说明用什么办法确认(现场观测、与站务人员交流、拟合优度检验)。 | 让学生看到"表面效度"并非走形式,而是有方向可查(灵敏度分析)。证据:方向判断表;结构/数据假设各一条的书面记录。 |
| 五、5.3.4 输入-输出变换的验证<br>24 分钟 | S14–S26:模型视为输入-输出变换;前提条件;模型变化范围(小改到大改);地铁站安检系统实例:变量分类(S16–S20)、10 次重复运行(S21)、假设检验法(S22–S23)、置信区间法(S24–S26) | (1)概念讲解约 4 分钟:讲 S14–S15——模型被视为输入-输出变换;前提是存在系统的某种版本、能收集至少一组输入条件下的性能数据;设计阶段的系统无法完整验证,只能对已有子系统部分验证。模型变化由小到大分四级:单个参数小变化、分布形式小变化、子系统逻辑结构大变化、新系统设计方案大变化;前两类改动可检验、输出可信度较高,后两类可借已验证的类似子系统集成。"没有办法可以完整地验证尚不存在的系统"。<br>(2)变量分类约 5 分钟:讲 S16 实例——大连交通大学地铁站 A 口一台安检设备,周二早 6:30–8:30 到达 468 名乘客 ,同时采集 60 名乘客的安检服务时间 ,经站务人员认可代表早高峰;数据分析得:到达服从速率 234 人/小时的泊松分布,服务时间服从均值 9 秒、最小值 4 秒的指数分布。再按 S17–S19 讲变量分类:到达间隔 、安检时间 是输入随机变量,均属不可控变量(安检时间虽与设备有关,实际仍不可控);决策变量集合 ,即安检设备台数 1、平均安检时间 9 秒、等候队列数 1,一组决策变量取定水平即构成一个策略;模型是"黑盒",输出(响应)变量有安检设备利用率 、乘客平均延迟时间 、早高峰最大队长 等(另有 到达速率、 平均安检时间等附加输出)。让学生为自动售票机填表:输入变量(到达间隔、服务时间分布)、不可控变量、决策变量(窗口数、排队规则)、输出变量(平均排队等待时间、服务台利用率)。<br>(3)课件实例演算约 9 分钟(S20–S26):实际系统数据 与 对应,观测得早高峰平均安检排队时间 秒,即 。对模型做 10 次独立重复运行(每次设置不同随机种子,每次运行 2 小时),得 的 10 个值 8.422、6.863、8.618、6.610、8.092、8.645、8.125、7.128、9.726、7.224(秒)。<br> ① 假设检验法:(秒);,; 秒, 秒;双边检验临界值 ;,因 ,不拒绝 ,统计判断上可认为模型有效。强调这是弱结论:只说明在现有 10 次运行数据基础上还不足以拒绝原假设。<br> ② 置信区间法:令 为分析者设定的"足够接近"的误差,本例取 秒。若区间不含 :最好情况误差 则须修改模型;最坏情况误差 则可接受;最好情况误差 而最坏情况误差 则须增加重复运行次数。若区间含 :最坏情况误差 可接受,否则须增加重复运行次数(对照 S25 的 (a)、(b) 两图)。本例半长 秒,区间约 ,含 ;最坏情况误差 ,可以接受该安检系统模型。<br> ③ 追问(学有余力的小组):表中 (到达速率,均值 233.9)、(平均安检时间,均值 9.025)同法检验,结果如何?(分别与 234 人/小时、9 秒比较, 都很小,均不拒绝。)<br>(4)自拟数据练习约 6 分钟:发放演算数据卡(练习数据)。自动售票机实际系统平均排队等待时间 分钟;模型 5 次独立重复运行的平均排队等待时间为 3.6、4.4、3.9、4.8、4.3 分钟。<br> ① 假设检验:,;,,,对 、自由度 4,,因 ,不拒绝 。<br> ② 置信区间:,得 ,包含 4.0。<br> ③ 给定可接受误差 分钟,则 的区间约为 ,最坏情况误差 0.78 ,既不能判定模型有效,也不能判定无效。<br> 追问:此时该怎么办?引导至"增加重复运行次数 以缩小区间",并强调"不拒绝 不等于模型正确"。 | 填写变量分类表;跟随课件实例用计算器或 Excel 复算 、、 与区间,理解最好/最坏情况误差与 的比较;再独立完成演算数据卡上的①–③,与邻座核对中间结果(、、);各组口头报告结论,并回答"如果 增加到 30,区间会怎样变化"(宽度大约按 缩小)。 | 难点 3、4 的集中突破,对应进度表重点"输入-输出变换的验证"与难点"决策变量、不可控变量、置信区间"。证据:变量分类表;演算纸上 值与区间;小组结论是否包含"增加重复次数"及对"不拒绝 ≠ 正确"的表述。 |
| 六、5.3.5 历史数据验证与图灵测试<br>8 分钟 | S27–S28:用历史数据验证("过去的预测"代替"未来的预测");图灵测试式验证 | 1. 简述历史数据验证(S14、S27):用真实历史输入数据 驱动模型(数据存入数组或文件读取,不再使用随机数),把模型输出与同一时段的实际系统输出比较;大型系统需同步收集全部输入与响应数据,较为困难,道路交通等系统可由电子设备自动记录数据。<br>2. 组织盲测:每组拿到 6 份随机编号的"报告"(真实 3 份 + 仿真 3 份),格式一致;各组限时 3 分钟猜哪几份来自模型,并给出判断依据。教师公布答案,统计识别率。<br>3. 引用课件 S28 的做法与结论(图灵测试源于图灵 1950 年论文《计算机器与智能》:电脑在 5 分钟内回答问题,超过 30% 的回答被误认为人类所答即通过;课件取 5 份真实报告加 5 份仿真报告随机混排):若使用者能准确识别仿真报告,说明模型仍需改进;若识别不出,只能说明"没有证据表明模型不正确",不是"证明模型正确"。 | 小组讨论,写出"哪份像真的、为什么",并反思:我们依据的是数值、波动特征还是格式? | 理解"在无法做统计检验时,如何用使用者的经验作辅助验证"(S28)。证据:各组猜测记录与理由。 |
| 七、小结与布置<br>6 分钟 | S29:本讲总结与基本要求;S30 | 1. 用三句话小结:检验是"建模型的过程是否做对",验证是"做出的模型是否对";检验用当前容量与总数快速排查;验证三步法的核心是输入-输出变换。<br>2. 布置作业 4 的"模型检验与验证"提纲(见下)。<br>3. 请学生写 1 分钟纸条:"我的作业 4 模型最难验证的一点是什么?" | 完成纸条并提交;记录作业提纲要求。 | 证据:纸条(暴露共性问题,供课后答疑与下次课开头反馈)。 |
课堂练习与课后作业
课堂练习(本课次内完成)
- 检验/验证归类小测(环节二)。
- 当前容量/总数诊断卡(环节三,小组)。
- 方向判断表与"结构假设/数据假设"记录(环节四)。
- 输入-输出变量分类表与手工 检验、置信区间演算(环节五)。
- 图灵测试盲测记录(环节六)。
课后作业与衔接
- 课程作业 4(AnyLogic 仿真软件应用,30 分,团队):本章直接对应作业 4 研究内容中的"仿真模型的检验与验证"。要求各组在设计报告中新增"模型检验与验证"一节,至少包括:
- 检验清单(对照 S8 的 6 条建议,写明本组已做和未做的各项,并附当前容量/总数的运行截图或表格);
- 表面效度记录(谁参与了评价,灵敏度方向是否合理);
- 结构假设和数据假设的依据;
- 输入-输出验证:如有实际系统数据,给出 检验或置信区间结果;如选题系统尚不存在,写明只能做部分验证(或无法验证)并说明局限。
- 课程设计:进度表对应"仿真实验及实验结果分析"。各组在设计实验之前,需先完成上述检验与验证提纲,再进入实验与结果分析(该部分后续在课次 16 及课程设计阶段展开)。
- 与作业 2 的衔接(选做,不计分):用本讲的当前容量/总数思路自查作业 2 的 Excel 模型,并将平均等待时间的置信区间与手工理论值比较。
- 与作业 1 的衔接:作业 1 要求分析论文"模型的验证",学生可用本讲的三步法对照所选 WSC 论文,检查其验证方法属于哪一类。
教学评价
| 评价证据 | 对应课程目标 | 评价方式 |
|---|---|---|
| 检验/验证归类小测、诊断卡记录 | O4(模型检验能力);兼顾 O1(解释仿真结果、识别逻辑错误) | 教师当堂批注,计入课堂表现(5 分) |
| 变量分类表、 检验与置信区间演算 | O4(对系统设计方案进行分析评价并理解其局限);兼顾 O1、O3(统计检验与结果解释) | 演算纸收集,教师抽查并反馈 |
| 方向判断表、盲测记录、结尾纸条 | O4(实验设计与表面效度);盲测与作业 1 衔接涉及 O5(了解仿真研究动态) | 过程性观察,用于调整下次课 |
| 作业 4 中"模型检验与验证"一节 | O4(课程作业 4,权重 1.0) | 按学业评价要求中作业 4 评分标准评阅("仿真模型正确、实验结果正确、报告论证充分"等) |
说明:O2、O3 在本章只有间接关联(自动售票机模型与拟合优度检验为背景),不单独设评价证据。大纲中 O4 的达成度由课程作业 4 评定,课堂证据仅用于过程反馈。
板书设计
第5章 仿真模型的检验与验证
├─ 5.1 建模过程与检验、验证
│ 实际系统 ⇄ 概念模型 ⇄ 运行模型
│ └概念验证(系统↔概念模型) └检验(概念模型↔运行模型)
│ 验证/校验:模型反复修改,与实际系统反复比较
│ 三步法:表面效度 → 模型假设 → 输入-输出验证
├─ 5.2 检验
│ 6条建议(他人检验/流程图/改输入看输出/定义变量/看动画/调试)
│ 当前容量、总数:线性增长 | 总数=0 | 容量=总数=1
├─ 5.3 验证
│ 表面效度:使用者参与 + 灵敏度(方向)
│ 模型假设:结构假设 / 数据假设
│ 输入-输出:输入变量、不可控变量、决策变量、输出变量
│ 例:地铁站安检 D=(1,9,1) μ0=8 秒 ε=1 秒 n=10
│ 假设检验:t = (Ȳ-μ0)/(S/√n),|t|<t(α/2,n-1) 不拒绝(弱结论)
│ 置信区间:Ȳ ± t·S/√n → 最好/最坏情况误差 vs ε → 接受 / 修改 / 增加 n
│ 历史数据、图灵测试
└─ 作业4:检验清单 + 验证提纲
教学反思(课后填写)
-
学生在"检验"与"验证"的归类小测中,哪些题目错误率最高?背后的概念混淆是什么?下次需要补充哪个例子?
-
手工 检验与置信区间演算环节,学生在哪一步卡住( 的计算、查 表、区间解释、"不拒绝 ≠ 正确")?13 分钟是否足够,是否需要把数据卡提前发放?
-
学生提交的纸条显示,作业 4 的模型在"验证"上的主要困难是什么(没有实际系统数据、不会设计灵敏度实验、不会选取误差范围等)?课后应如何用答疑或课程设计辅导回应?