# 第三单元：获得可信的数据 · 理论阅读稿 这是在线教材3.1—3.10的理论正文。正文与网页共用同一来源；综合应用、自测解析和练习在 `/book/unit03` 阅读。 ## 3.1 可信不是一个标签：数据与问题是否匹配 第二单元把目标转化为指标，但定义清楚不意味着记录可靠。要计算报名者到场率，需要知道哪些人属于有效报名者、签到是否漏记、编号能否对应；要解释缺席原因，还需要了解缺席者的处境。两项分析对数据的要求不同。 **数据可信性的含义** 本单元把可信理解为：对于一个明确的问题，能够说明数据怎样产生、测量什么、覆盖谁、经过什么处理，以及这些条件允许怎样的判断。可信性与用途有关，不是“来自系统”“数量很多”或“已经清洗”就永久可靠。 同一份出口问卷可以真实记录回答者的体验，却不能独自代表所有报名者；签到日志可以准确记录扫码，却不能独自读取兴趣。前者的限制主要涉及覆盖与选择，后者涉及行为与概念之间的距离。不要把“适合回答 A”扩展成“适合回答所有问题”。 ### 沿着证据形成过程逐步检查 问题与指标 → 概念操作化 → 来源与采集方法 总体与样本 → 记录检查与整理 → 有边界的证据 全过程：用途、访问、版本、保存与退出 这条链上至少有三类检查：测到的是否是想理解的概念；接触和回答的人是否覆盖希望理解的对象；记录与处理是否准确表达已发生的事情。它们不能互相替代。删除重复行无法补回未被邀请的缺席者，扩大样本也无法修复诱导性题目。 数据不完美并不意味着只能放弃分析。可以改进采集、保留未知、缩小结论范围，或者先取得更适合的问题所需的证据。关键是说明限制怎样影响判断，而不是把“可能有误差”当作统一的尾注。 ## 3.2 测量与操作化：从概念到可观察表现 兴趣、体验、参与和学习收获都是现实概念，却不天然对应一个系统字段。操作化是选择可观察表现，并规定对象、时点、记录方式与判断规则的过程。指标说明怎样汇总或计算，操作化还要说明用于计算的观察究竟怎样获得。 **概念、变量与取值** 概念是希望理解的含义；变量是按照规则记录的属性；取值是某个对象在该属性上的记录。例如“活动前兴趣”是概念，“活动前的兴趣自评分”是变量，“较感兴趣”是一次回答。一次回答并不完整等于这个人的全部兴趣。 ### 一种概念可以有多种观察 兴趣可以通过事前自评、是否主动查看详情、访谈中的具体叙述等观察。自评记录表达，行为记录受时间、入口与奖励等条件影响，访谈保留语境。多种材料能够互相补充，但不能因为都与兴趣有关就当作同一种测量。若材料不一致，应检查时点、对象与定义，而不是挑选最符合预想的一项。 “未到场”可以定义一个参与状态，不能直接操作化为“不感兴趣”。一个人可能很感兴趣但有课程冲突，也可能兴趣一般却被同伴邀请到场。操作化的好坏要看它是否合理连接概念与观察，并且说明遗漏了什么。 ### 数字编码不改变变量含义 用 1、2、3 编码参与状态，只是便于保存类别，不能把类别代码的平均数解释为参与程度。1—5 的满意评分通常表达顺序，不能仅凭编码就断定相邻等级的心理差距相同。等待分钟数记录时长，次数记录重复行为，它们也不能与类别编码混算。 建立记录前，应写出变量字典：名称、含义、记录对象、单位或选项、时间、允许取值与缺失标记。明确的字典帮助采集者采用相同理解，也帮助分析者发现不合规则的值。本单元以解释变量含义为目标，具体统计汇总将在第四单元展开。 ## 3.3 来源与采集方法：不同方法留下不同证据 采集不是先选问卷平台，而是从问题反推证据需求。已有记录可能足够，也可能需要新增观察。使用别人或系统为其他目的生成的数据时，更要检查原始定义、覆盖对象、时间与权限，不能把下载成功当成适用性证明。 ### 观察：记录行为发生的环境 观察可以记录队伍长度、等待起止、离开队伍等行为。应提前规定地点、时间间隔、计数单位与事件标准，并用少量情境统一观察者判断。观察者可以看见离队，却不能仅凭离队读取动机；被观察者也可能因知道有人观察而改变行为。 ### 访谈：理解过程与未预料的解释 访谈适合追问当事人的经历与判断。半结构化访谈保留共同的核心问题，同时允许追问具体例子。可以问“从收到活动信息到决定是否参加，哪些情况影响了你？”而不是问“你是不是因为宣传不够才没来？”少数访谈能发现可能机制，不能直接给出全体人的原因比例。 ### 问卷：在统一提问下收集多人回答 问卷便于描述选项频次和分布，但回答质量受措辞、选项、回忆与作答环境影响。匿名安排可以降低部分表达压力，却不能消除所有测量误差，也不能自动解决谁愿意回答的问题。 ### 行为记录：观察系统捕获到的事件 报名、签到、点击和支付日志减少了对远期记忆的依赖，但日志只显示系统有能力记录的行为。一次点击可能来自误触，一次扫码未必等于完成体验；没有日志可能是未发生，也可能是设备故障或未经过入口。应了解事件怎样触发、是否重复、是否延迟上传及标识的作用范围。 ### 组合方法时，说明补充了什么 定量材料适合描述统一规则下的数量和分布，定性材料适合保留经历、语境与新的解释。可用日志定位行为发生的环节，用短问卷了解回应者报告的障碍，再用访谈理解障碍如何形成。多用一种方法并不自动提高可信度；有用的组合应补足特定空白，并保留来源差异。 ## 3.4 问卷设计：让不同人理解同一个问题 问卷题目的任务是帮助回答者准确理解、回忆、判断并表达。写得正式不等于测得准确，强制必答也不等于内容完整。不能回答的人被迫选一个选项，只会把未知变成看似完整的记录。 ### 单一、中立、明确 一题只问一个主要内容。“你对内容和现场服务满意吗？”包含两个对象，应拆开。题干不要给出期待方向：“这场精彩活动是否值得继续举办？”会施加评价。时间与对象要明确，“经常参加”可以改为“过去 4 周参加过几次校园社团活动”，并说明是否包含线上活动。 ### 选项与跳题必须适合回答者 单选题的实质选项应尽量互斥、覆盖合理情况；多选题应说明可以选择多项。需要时设置“其他”“不记得”“不适用”或“暂不愿回答”，不能只保留组织者最关心的原因。缺席者可以回答参与决定的因素，却不应被强制评价没有体验过的现场服务。 满意评分需写明评价对象、时点和等级含义。即使采用五个等级，也要将中间的“既不满意也不不满意”与“无法评价”区分，避免把缺少体验误当作中立态度。多选原因的百分比之和可以超过 100%，因为同一人可能选择多项。 ### 问原因时，不把自报原因当作已证明机制 可以询问“哪些情况影响了你是否参加本次活动”，并允许多选或补充。得到的是回答者回顾时认为相关的因素，可能有遗忘与事后解释。它有助于选择进一步核实的方向，却不能独自证明某项措施会提高到场率。 ### 试答检查理解，试运行检查流程 发布前请少量目标对象说明他们怎样理解题目、怎样选择答案，检查陌生术语、重叠选项与困难的回忆任务。再走通手机填写、跳题、提交和导出过程。试答的目的不是挑选“正确答案”，而是发现提问与记录过程的问题。小规模试答也不能直接证明量表在全体人中有效。 ## 3.5 测量误差：记录一致不等于测到了目标 测量误差是观察或记录与拟测现象之间的偏离，可以来自回答者、题目、工具、观察者和环境。有人记错次数，有人迎合组织者，有人误解选项，有的设备持续偏差。不能把误差只理解为“学生不认真填写”。 ### 随机波动与系统偏离 同一个人的回忆可能上下波动；诱导措辞可能持续推高评价。前者有波动成分，后者具有方向性的偏离。两者可能同时存在。增加回答数不能保证消除诱导题目造成的系统偏离。 ### 信度与效度的入门区分 **稳定与合适是两项检查** 信度关注在适当条件下测量是否一致；效度关注测量结果是否能够支持预期的解释和用途。若秤每次都稳定地多报重量，它可以很一致却不准确；若用扫码次数评价学习收获，即使记录稳定，也仍需证明这种解释合适。 现实中的兴趣和体验会变化，前后答案不同不一定是测量不稳定，也可能是现象确实改变。信度与效度不能只靠一张表或一句“已经试答”确认。本单元只学习概念，不要求数学检验。 ### 降低误差需要改变产生机制 回忆误差可通过缩短回忆窗口、结合即时记录降低；社会期许压力可通过中立说明、减少直接评价关系、提供合适的匿名渠道降低；观察者差异可通过统一规则与训练降低；设备误差需校验与记录故障。措施应对应具体机制，不能将“匿名”写成所有风险的解决方案。 报告时可说明：“问卷在活动后 24 小时发送，以降低远期回忆困难；结果仍为自报材料，可能受回忆与表达压力影响。”说明已做什么以及仍限制什么，比笼统宣称“问卷真实有效”更便于使用。 ## 3.6 总体、样本与抽样框：我们究竟了解了谁 测量题目写得清楚之后，还要检查谁有机会回答。希望了解所有报名者的参与障碍，却只在活动出口发问卷，缺席者一开始就无法进入调查。这个问题不能通过修改满意度量表解决。 **三个范围与一个单位** 总体是希望描述的全部对象；抽样框是用来接触或选择对象的名单或机制；样本是实际取得并用于相关分析的部分对象。分析单位说明一次判断对应谁或什么，如一名报名者、一笔订单。重复记录不会自动增加不同分析对象的数量。 研究全校学生与研究本次报名者，是两个不同总体。报名名单可能是后者的抽样框，却不覆盖前者；名单中的重复、无效联系方式与遗漏又会影响接触。一个人回答了整份问卷，也可能跳过某道题，因此不同指标的实际分析人数未必相同。 ### 全体邀请与取得全体数据不同 向所有有效报名者发送问卷，是一次全体邀请或普查尝试；若只有部分人回答，并未取得完整总体数据。即使完整取得了回答，题目误解、工具错误和处理错误仍可能存在。“全量”只能解决与范围有关的一部分问题。 ### 概率选择与自愿回应 概率抽样通过明确的随机机制选择对象，并使被选概率可确定；方便样本选择容易接触的人；自愿回应取决于谁愿意作答。随机不是“随便发给几个人”。随机选出邀请者之后，抽样框覆盖和未回应仍需检查。 解释现有样本时，应写清总体、接触渠道、邀请方式、回应人数与排除规则。只有结果比例却没有这些过程信息，读者很难判断结论能推广到哪里。 ## 3.7 抽样误差与选择偏差：人数多为什么仍可能看偏 从总体中只观察一部分人，会产生样本之间的随机差异；覆盖、选择和未回应过程还可能产生系统遗漏。二者都影响认识，却需要不同改进方法。 ### 抽样误差不是所有误差的统称 在适当的概率抽样条件下，即使程序正确，不同随机样本的结果也会有所不同，这属于抽样变动。扩大样本通常有助于降低这种随机不确定性。题目诱导、名单漏人、选择性回应和处理错误则属于其他误差来源，不会因为样本变大就自动消失。本单元不计算标准误或置信区间。 ### 偏差出现在哪个入口？ 覆盖不足使部分总体成员无法被接触；选择偏差使进入样本的机会与研究结果有关；未回应偏差发生在回答者与未回答者存在与结果相关的系统差异时；幸存者偏差是只观察到坚持到某阶段或仍然可见的对象。它们可能重叠，重要的是指出遗漏了谁、怎样遗漏、为何可能影响结果。 有人没有回答，不自动证明已经存在某个方向的偏差，但足以提醒检查。若只在出口收集，缺席与中途离开者没有同等入口，这一设计明显限制了对全部报名者的解释。把同一入口的回答从 50 份扩到 80 份，无法让缺席者重新出现。 ### 分层邀请改善覆盖，不保证无偏 可以按完成、到场未完成、未到场等与问题有关的状态分组，用覆盖总体的渠道邀请，并监测每组回应。若采取分层随机抽取，应明确层内随机程序；若只是设置回应目标，则不是自动获得概率样本。层内仍可能选择性回答。 不同群体若以不同概率进入样本，直接混合的比例未必反映总体构成；分层数量配额也不能自动修复组内偏差。本课程先要求分组报告和交代回应缺口，不用简单调整代替正式的抽样设计与推断。 ### 结论主语应跟随证据来源 50 名主动回答者中 45 人选择满意，可以说“这 50 名回答者中，90% 选择满意”，同时交代入口与题目。不能直接写“90% 的报名者满意”，更不能写“90% 的全校学生满意”。缩小主语不使证据失去价值，而是让局部改进有明确依据。 ## 3.8 数据质量：从使用目的检查记录 来源与样本解释清楚之后，还要检查记录本身。质量不能只看表格有没有空格，也不能只看系统能否运行。应围绕用途检查完整性、准确性、一致性、及时性与唯一性。 - **完整性：**需要的对象、字段和事件是否有记录。填满字段不等于覆盖了该记录的所有对象。 - **准确性：**记录是否符合现实。合法格式、正确范围只是线索，不足以证明真实。 - **一致性：**字段、表之间和前后期间的定义是否相容。两张表人数相等也不证明对应的是同一批人。 - **及时性：**记录是否在决策需要的时间可用。上传延迟可能让今天看到的签到少于最终结果。 - **唯一性：**在规定单位上是否重复。一个人多次扫码可能是多条真实事件，但算到场人数时需去重。 ### 缺失、零与不适用必须区分 零表示在给定规则下确认没有发生；缺失表示未知或未记录；不适用表示该问题不属于此对象。例如缺席者没有现场满意度是合理的不适用；到场者未填写满意度是缺失。两者都不能作为“0 分满意度”。保留缺失原因，有助于判断能否继续计算。 ### 异常只是待核实信号 等待时间为负可能是时间记录错误；等待 90 分钟可能是错误，也可能反映真实拥堵。异常值不能仅因为“影响平均数”就删除，应检查来源、单位、上下文和业务可行性。真实的极端记录可能正是风险分析最重要的证据。 质量检查应输出缺口及影响，而不只是一个“通过”。对宣传渠道的分析，来源缺失非常重要；对报名到场率，来源缺失未必需要删除整个人。一个字段是否可用，与这条记录是否整体可用，是两个决定。 ## 3.9 整理与清理：规则会改变结果 清理是依据问题、业务含义与可核实证据，把记录转为适用的分析材料。不是把所有空值与异常删掉，也不是把各表合计强行调整成一样。处理规则影响谁进入计算，因此它本身是证据链的一部分。 ### 先判断记录单位，再判断重复 两条相同姓名可能是不同人；两条相同参与者编号可能是同一个人的不同活动。只有确认对象、事件、时间及编号作用范围后，才能决定合并。保留原始事件表，在人数汇总表按活动与参与者去重，比直接永久删除多次扫码更容易复核。 ### 按证据选择处理动作 有明确来源证明输入错误时，可以修正并记录依据；确认是同一对象的重复提交时，可以按事先规则合并；值真实且与问题有关时，应保留；原因不明时，可标记待核实、报告未知或暂不用于相关计算；排除无效记录时，要说明资格与影响。不能根据哪个处理能使指标更高来选择规则。 ### 连接失败不是未发生 签到编号找不到报名记录，可能是现场新增参与者、拼写错误、名单版本不同或不合资格。核实前不能任意计入报名者到场率，也不能把它改成某个已有编号。对没有签到记录的报名者，还需确认签到机制是否足够完整，才决定能否将其判为未到场。 ### 留下足够复核的记录 保留受控的原始版本、处理规则、依据、操作者与时间、受影响的记录数量，以及处理前后的指标变化。整理后的表应能回溯到来源。原始版本需要受控保留并不意味着永远保存，保存期限仍应服从已说明的用途与生命周期安排。 若不同合理规则会明显改变结论，可报告它们的结果和差异，进一步核实关键记录。这样的规则对照帮助暴露判断依赖，不是让读者随意选择喜欢的数字。本单元不要求自动插补、清洗代码或数据库实现。 ## 3.10 生命周期：可信数据需要全过程责任 数据会经历产生、采集、存储、整理、使用、共享、归档与删除。同一数据可能被用于多个目的，阶段也会交叉。质量与责任不仅属于分析者：入口如何设计、谁能访问、版本怎样保存以及何时结束使用，都会影响证据与参与者。 ### 在采集前说明必要性与用途 每个字段应有具体用途。了解活动障碍未必需要姓名或学号；监测分组回应可能只需参与状态。若群体很小，年级、专业和叙述组合也可能使人被认出。不要把删除姓名等同于完全匿名，也不要为了未来“可能有用”无限增加记录。 ### 需要连接时，诚实说明设计 完全不保留可对应个人的标识，就不能逐人追踪回应或连接签到。若确需连接，可在授权用途内使用替代编号，并把对应表与分析材料分开控制。这通常是去标识处理，不宜宣传为无法回溯的匿名。选择匿名还是可连接设计，应由问题需要、参与者说明与访问安排共同决定。 ### 存储、共享与退出也需要规则 保存时指定负责人、访问范围、版本与备份方式；共享时优先提供必要的汇总，检查小群体和开放文字是否可能暴露个人；使用完毕后按事先说明的期限归档或删除，检查共享副本与对应表，而不是只删本地文件。具体制度和伦理判断在第六单元继续学习。 ### 形成可执行方案 一份采集与质量方案应交代问题、对象、变量与方法、邀请过程、时间与渠道、试答或校验、误差与覆盖风险、清理规则、负责人、访问及保存安排，最后写出允许的结论与后续核实。方案不是越长越好，而是能让另一位执行者知道怎样做、遇到未知怎样处理。 第三单元的落点是准备好可解释、可复核且用途适当的材料。下一单元才进一步学习如何描述、比较和解释这些材料。复杂分析不能修复未说明的来源，漂亮图表也不能替代可信的证据链。 ## 关联阅读 胡广伟：《数据思维》，清华大学出版社，2020年，ISBN 9787302561385。关联第5—6章、§4.1.1、§2.4.1、§8.1、§8.2、§8.4、§9.2、§3.4、§8.5.1与第11章；调查设计、信度效度入门、质量维度与流程方案为课程补充。抽样误差及普查与样本的基础辨析另参见[澳大利亚统计局：误差类型](https://www.abs.gov.au/statistics/understanding-statistics/statistical-terms-and-concepts/types-error)与[普查与样本](https://www.abs.gov.au/statistics/understanding-statistics/statistical-terms-and-concepts/census-and-sample)。讲解为课程原创表述，书目主题据公开目录核实，不表示完整覆盖原章。所有例子均为教学模拟。 [《数据思维》电子书（PDF）](https://cdn.ibrothergang.com/datathinking/ebook/Thinking%20in%20Data-Huguangwei.pdf) · [出版社图书介绍](https://www.tup.tsinghua.edu.cn/bookscenter/book_08685301.html) · [原书目录](https://www.tup.tsinghua.edu.cn/bookscenter/bookcatalog?id=08685301)