UNIT 01 · 第 1—2 周
认识数据与数据思维
数据怎样扩展我们对现实的认识,又为什么不能替我们完成所有判断?本单元从这一问题建立概念体系:理解数据与证据的关系、数据思维的形成与范式、特点与局限,再把理论用于具体情境。
- 建议阅读
- 60—80 分钟,建议分三次
- 自测与实践
- 约 20 分钟
- 前置知识
- 无,不要求编程基础
- 本单元产出
- 概念理解+有条件的分析
学完本单元,你应该能够
- 解释经验与数据怎样共同支持认识,说明数据环境变化带来的机会与要求。
- 区分数、数据、信息、证据和知识,解释它们之间的关系。
- 区分数据科学与数据思维,理解科学思维和统计思维的作用。
- 从方法、认识和行动三个方面解释数据分析为什么需要检验与反馈。
- 逐项解释五个思维特点及三个重要局限,举例说明适用边界。
- 理解数据生产与记录单位,把概念用于有条件的判断和数据地图。
第一遍读 1.1—1.4,分清基本概念;第二遍读 1.5—1.8,理解范式、特点、局限与记录过程;第三遍完成 1.9—1.12 的应用、自测和回顾。正文按概念依赖展开,不要求先听过课堂案例。
理论正文是本单元主体,案例用于解释和应用概念。范式部分以入门理解为主,不新增哲学术语考核;详细测量、样本、因果与数据技术在后续展开。所有校园和电商例子均为教学模拟情境。自测用于自学,不新增课堂提交或计分要求。
本单元目录 · 点击展开
1.1 为什么需要数据思维
人在作出判断时,总要借助某种材料。我们可能根据自己的经历判断一项安排是否合理,根据身边人的反馈推测多数人的态度,也可能根据长期积累的经验预测下一次结果。这些判断并非毫无根据:经验可以帮助我们迅速识别情境,发现问题,形成初步解释。但经验也有自己的观察范围。一个人见过的事情有限,容易记住特别鲜明的经历,也可能把身边人的情况当成所有人的情况。
例如,“大家都喜欢晚上参加活动”可能来自组织者与几位朋友的交流。这些交流可以成为线索,却还不足以支持面向全部学生的安排。要扩大认识范围,我们需要记录不同人的情况、比较不同条件下的结果,并检查哪些人没有进入我们的观察。数据思维正是在这样的需要中发挥作用:使判断的依据更清楚,使解释能够接受检查,使后续行动有机会被修正。
1.1.1 经验怎样与数据共同工作
经验帮助我们理解“什么值得问”,数据帮助我们检查“实际记录支持到什么程度”。如果完全离开经验和领域知识,数据中的变化可能没有解释;如果只相信经验,反面的记录又可能被忽视。较合理的做法是让两者相互校正:先提出一个有根据的猜想,再寻找相关记录,核实是否还有其他解释。
假设经营者认为销量下降是因为价格过高。这一经验判断可以引导分析者检查价格、销量、竞争和流量,但不能预先要求所有结果都证明价格有问题。若记录显示访问人数大幅减少、购买者转化情况变化不大,问题可能更接近流量来源。对原判断进行修正,是理解加深的表现。
1.1.2 数据环境改变了什么
数据长期存在于账簿、统计表和调查中。数字系统使更多过程可以持续留下记录:一次搜索、一次报名、一次支付、一次设备读数都可能被保存。这种变化既增加了认识问题的机会,也提高了理解记录的要求。我们可以看见更多细节,但也更容易被大量表面精确的数字吸引。
原书第 2 章从思维原料、主体、工具和形式的变化讨论数据思维的产生。本课程借这四个观察角度理解数据环境,而不把它们当成必须背诵的时代口号:
- 思考材料的变化:个人记忆和汇总结果之外,可以使用更连续、多来源的记录。细节增加后,必须追问记录覆盖了谁、怎样产生、哪些部分仍看不见。
- 参与判断者的变化:不同岗位的人可以共同查看记录、提出解释,系统也可以辅助计算和推荐。共同参与并不意味着责任消失;谁定义问题、谁检查结果、谁决定行动仍要明确。
- 工具的变化:表格、统计方法、数据库和模型扩展了处理能力。工具可以加快计算,却不会自动确认业务含义,也不能替人决定什么目标值得追求。
- 思考形式的变化:判断更容易表现为可记录、可比较、可更新的过程。一次结论可以成为下一次检查的起点,而不是分析完成后就不再追问。
这些变化说明,学习数据思维需要同时提高两种能力:利用记录扩展观察,以及对记录和推论保持审慎。只增加数据使用量,未必使判断更可靠。
1.1.3 本课程的学习对象
本课程研究的是怎样以数据为材料进行认识和行动。学生需要理解概念、辨认证据、解释条件和修正判断。软件操作可以帮助实现这些过程,但本单元并不要求编程。面对一份小表格时,认真解释记录的含义与适用范围,同样是在实践数据思维。
数据思维使经验判断获得可检查的依据,也使数据解释接受情境和经验的校正。它的价值在于改善认识与行动的过程,而不在于让每次判断都得到一个看起来精确的数字。
1.2 从数到数据、信息与证据
理解数据思维,首先要分清我们正在处理什么。“数”“数据”“信息”“证据”和“知识”有联系,却不能直接互换。它们在不同学科中有不同定义,本节采用适合本课程问题分析的入门区分。
1.2.1 数是抽象表达,数据带有记录含义
数用于表达数量、次序或关系。单独写出的“420”可以进行数学运算,但在现实分析中,它还缺少对象与含义。数据则是对对象、状态、事件或行为的记录或表达。把“420”解释为“截至某日,某场活动的有效报名人数”,才使它能够进入现实判断。
数据可以是数值,也可以是文字、图片、声音和位置。例如,“入口难找”是一条文字反馈,照片可以记录场地布置,时间戳可以记录一次扫码发生的时刻。它们是否适用于分析,取决于记录内容与问题之间的关系,而不是能否立即进行算术运算。
外观像数字的内容也未必表示数量。活动编号“420”承担识别作用,不能因为它大于编号“110”,就认为对应活动规模更大。使用数据之前,应先识别其语义:这是数量、类别、顺序,还是标识?
1.2.2 对象、变量与取值
对象是被描述的人、事物或事件;变量是对象可能具有不同取值的特征;取值是该特征在具体对象上的记录结果。以一条学生报名记录为例,对象是某名学生的一次报名事件,变量可以包括提交时间、活动编号和报名状态,取值分别是具体时间、编号以及“有效”或“取消”。
这三个概念帮助我们看清:一条记录到底在描述谁的什么。如果把每次提交当成一个人,就会混淆事件与对象;如果把“提交状态”误当成“实际参加状态”,就会混淆不同变量。很多分析错误发生在计算之前,根源是记录含义没有被确认。
1.2.3 数据为什么需要语境
语境是解释记录所需要的背景和规则。除了对象、变量、取值,还要说明单位、时间、来源和统计口径。单位决定“人”和“条”能否相加;时间决定哪些记录属于比较范围;来源帮助我们理解记录如何形成;口径说明哪些记录被纳入、如何去重和汇总。
“本月销售额 10 万元”看似清楚,仍可能包含不同口径:下单金额、已支付金额,或扣除退款后的金额。若比较双方使用不同规则,数字本身都可能正确,比较却没有回答同一个问题。因此,口径应成为结果的一部分,而不是事后才补上的注释。
1.2.4 信息是数据对问题产生的意义
本课程把信息理解为数据在具体语境中被解释后,对一个问题产生的意义。“A 到场 210 人,B 到场 88 人”是记录结果;“按实际覆盖人数看,A 更多”是对比较问题形成的信息。如果问题变成报名者是否到场,还需要报名人数,原有两条数据就不够了。
同一份数据面对不同问题,可能形成不同信息。更多处理步骤也不保证信息更多:把不相关的记录汇总得再细,仍可能无法回答当前问题。解释必须结合问题、概念和领域知识。
1.2.5 数据怎样成为证据
证据是用于支持或检验某个主张的依据。数据能够成为证据,需要与主张相关,来源和口径足够清楚,质量和覆盖范围能够承担相应的推断。证据的作用总是相对于具体主张而言的。
例如,签到记录可以支持“按该规则核实的到场人数为 80”,却不能单独支持“这 80 人都有兴趣”或“活动提升了他们的能力”。后两种主张涉及心理状态或学习变化,需要不同证据。数据真实存在,与数据足以支持结论,是两件需要分别检查的事。
知识是在理解、检验和经验积累中形成的较稳定认识。一次观察可以提供线索,多次在明确条件下的检验可以加深认识,但不会自动变成无条件适用的规律。所谓“知道怎样改进”,还包含何时适用、怎样实施以及有哪些限制。
→ 针对主张检查为证据 → 经过检验与积累形成认识
这条关系用于帮助理解,不是一条自动加工流水线。每一次箭头都需要人的选择和推理,也可能回头修改。发现证据不适用时,应重新检查问题和数据,而不是只继续增加计算。
观察、测量、填写、系统记录都包含选择,也可能出现遗漏或错误。数据帮助我们接近现实,但不能被视为现实全部细节的完整复制。后面关于数据生产和局限的讨论,都从这一点出发。
1.3 大数据与数据化:认识材料怎样改变
当更多活动通过数字系统完成时,记录不再只来自专门调查,也可能伴随业务持续产生。一次交易可能同时留下时间、商品、数量、支付和售后记录;一次阅读可能留下页面、停留与后续操作。数据的规模、速度、多样性与连接条件一起改变了处理问题的方式。
1.3.1 怎样理解大数据
大数据通常指规模、复杂性、产生速度或其他处理要求,使传统处理方式难以有效应对的数据集合及相关问题。它没有适用于所有任务的固定行数门槛。百万条短记录与少量高分辨率影像,对存储和分析的要求可能不同。
常用的认识角度包括规模、速度和多样性,也常讨论可信程度与应用价值。这些角度帮助我们识别处理难点,不是判断数据有用性的评分表。数据量小但记录准确、与问题相关,也可能比海量但不适用的日志更有价值。
1.3.2 数据化是一种选择
数据化是把现实活动的某些方面转化为可记录、处理和分析的数据。它不只是把纸表录入电脑,还包括决定观察哪些行为、用什么分类和尺度表达、何时记录,以及保存什么字段。把体验记录为五分量表,把行为记录为点击事件,就是不同的数据化方式。
数据化扩展了观察能力,也设定了观察边界。一套只记录点击的系统容易看见“点了多少”,却未必能看见内容是否被理解;一份只面向到场者的问卷容易看见到场体验,却未必能解释缺席原因。未进入记录的内容不会因为系统数据量增加而自动出现。
1.3.3 数据形式与分析方式
结构化数据按较固定的字段组织,例如每笔订单都有订单号、时间和金额。半结构化数据带有标记或层次,但未必是一张固定表,例如某些日志和 JSON 文件。非结构化数据较难直接放入统一行列,例如图片、录音与自由文本。
这些区分是处理上的便利,不是价值等级。文字反馈能够指出某个数量指标没有覆盖的问题;把文字分类为“时间冲突”“内容兴趣”等类别,则需要解释分类规则和处理分歧。把资料变成表格,是分析过程的一部分,不意味着资料的全部意义已经保留。
1.3.4 为什么丰富数据仍需要理论
理论提供概念与关系,帮助我们知道观察什么、怎样解释。如果没有“参与”与“完成”的区别,就可能把提交作品当成真正完成;如果没有“目标”与“指标”的区别,就可能把浏览量直接当成经营效果。更丰富的数据可以提出新问题,却不能让概念和推理变得多余。
因此,数据思维要同时处理数据机会和解释责任:既利用新的记录方式扩大观察,又检查每种记录能表达什么。后续学习采集、样本和质量,就是为了使这项检查更具体。
1.4 数据科学、数据思维与相关思维方式
“数据科学”与“数据思维”经常一起出现,但它们的侧重点不同。前者涉及研究与实践领域,后者强调人面对问题时的认识方式和判断习惯。理解区别,可以避免把学习数据思维缩减为学习一个软件。
1.4.1 数据科学研究什么
数据科学是综合利用统计、计算、数据管理与领域知识,从数据中形成认识、解释和应用的交叉领域。它包括如何取得数据、怎样组织和处理、使用什么分析方法、如何评价结果,以及如何把结果用于具体问题。编写程序和训练模型可能是其中的工作,但不是整个领域的全部内容。
数据科学中的不同知识承担不同职责。统计方法帮助理解差异与不确定性;计算技术使大规模处理可以实现;数据管理帮助组织和维护记录;领域知识则说明对象、规则和现实约束。任何一项都不能独自保证结论成立。不了解退款口径,算法也可能准确计算出一个不适用于经营判断的“收入”。
1.4.2 数据思维关注什么
数据思维是利用数据及相关原理、方法和工具认识问题、分析问题、支持行动,并根据新证据修正判断的思维方式。它把数据的产生、解释和使用放在同一个问题情境中考察。
这里的“思维方式”不是某一个计算步骤,而是比较稳定的关注点。例如看到百分比时追问总体范围,看到关系时检查其他解释,提出建议时说明证据和条件。这些习惯可以在借助工具时使用,也可以在没有工具的小型问题中使用。
数据科学为这种思维提供方法和工具,数据思维帮助使用者判断方法为何需要、结果可以怎样理解。知道公式怎样输入,与知道它在当前问题中是否合适,是不同层次的理解。
1.4.3 科学思维:解释应当可以接受检验
科学思维重视清楚的问题、合理的推理与可检查的证据。提出一个解释之后,需要说明什么观察支持它,什么观察会削弱它,并愿意据此调整。只有寻找符合原判断的例子,会让解释失去接受检验的机会。
“提醒能提高到场率”可以作为待检验的解释,但需要明确比较对象、提醒方式、观察结果及其他变化。科学思维并不要求第一次解释正确,它要求解释能够在证据面前被保留、修正或放弃。具体实验如何设计将在后续单元学习。
1.4.4 统计思维:差异与不确定性需要被看见
统计思维关注个体差异、过程波动、数据产生方式以及推断中的不确定性。两批学生的体验可能不同,同一活动在不同时间的结果也可能波动。从部分记录推测整体,或从一次结果推测未来,都需要考虑这种不确定性。
例如,“平均等待八分钟”不能说明每个人都等待八分钟;“收到二十份好评”不能直接说明所有参与者都满意。统计思维帮助我们继续追问分布、样本和比较条件,而不是停在一个平均值或比例上。本单元先理解这些追问的意义,计算方法留待后续展开。
1.4.5 三种思维怎样结合
面对“是否更改活动时间”的决定,科学思维帮助提出可检验的解释,统计思维帮助检查对象差异和观察稳定性,数据思维把问题、记录、解释、行动和反馈连接起来。它们互相交叉,没有一条绝对界线,也不是谁取代谁的关系。
一个好的判断既需要可检验的理由,也需要对不确定性的理解,还需要说明在现实约束下怎样行动。即使暂时缺少完整证据,也可以提出有限建议,同时明确需要继续观察什么。
1.5 数据思维的基本范式:怎样研究、怎样认识、怎样行动
范式可以理解为相对稳定的问题观、证据标准和解决路径。它比一个技巧或流程图更宽:不仅规定“做哪些步骤”,还影响“什么是值得回答的问题”“什么理由可以接受”。原书第 2 章从方法论、认识论和行动范式讨论这一主题,下面采用本课程的入门解释。
1.5.1 方法论:怎样组织研究过程
方法论关注研究怎样开展,所用方法为什么合适。分析之前,需要明确问题、对象和目标;使用数据时,需要说明来源、处理与比较规则;形成解释后,需要检查它是否被证据支持。选择方法应当服从问题,而不能因为手头有一张表或一个工具,就把问题改造成工具容易回答的样子。
例如,调查“学生为什么缺席”与计算“有多少人到场”是不同任务。签到表适合整理到场情况,原因问题可能还需要其他材料。方法合适不仅是计算正确,更是材料和步骤与问题相匹配。
→ 分析并解释 → 评价结论 → 根据需要重新检查
这条过程是本课程整理的方法框架,实际工作可以往返。发现关键变量没有记录,可能返回采集阶段;发现问题过宽,可能重新界定。流程不是一次填完的清单。
1.5.2 认识论:我们凭什么相信一个结论
认识论关注知识与判断的依据。对数据分析而言,需要区分记录显示的现象、分析者提出的解释,以及最终作出的主张。观察到两项数量一起变化,是一种关系;认定其中一项导致另一项变化,则是力度更强的主张,需要更多条件和证据。
评价证据时,可以从三个方面追问:它是否与当前主张有关;记录和处理是否可信;它能够支持多大范围的推断。一次活动的回应者评分,与所有活动参与者的体验,不是相同范围。保持边界不是拒绝结论,而是明确哪些认识已有根据,哪些仍是猜想。
判断的信心应与证据强度相匹配。新材料改变了记录覆盖或解释条件时,结论也应更新。表达“现有数据支持某个方向,但还不能排除另一解释”,往往比把每个结果都写成确定答案更准确。
1.5.3 行动范式:怎样在有限认识下作出选择
现实中不能等到完全消除不确定性才行动。数据能够说明现状、可能效果和风险,但行动还涉及目标、成本、公平和责任。目标如何确定、风险由谁承担,需要决策者明确,而不是让一个数字默默替代这些选择。
例如,两种方案分别有较大覆盖人数和较高完成率,选择取决于当前优先目标。数据可以帮助说明取舍,却不能只凭数值宣布哪种目标更值得追求。作出决定后,还应观察实施情况,识别预期之外的结果。
行动使用当前证据作出暂时选择;后续记录检验预期是否出现;新的结果又帮助修正问题、解释和下一次行动。这一循环使数据分析成为持续学习,而不是报告提交之后就结束。
方法论要求过程合理,认识论要求主张有据,行动范式要求选择可解释并可反馈。三者结合,构成了本课程评价一段分析的基本依据。
1.6 数据思维的五个特点
整体性、量化性、互联性、价值性与动态性,是原书组织数据思维特点的五个主题。它们分别回答观察范围、表达方式、关系结构、应用目的与时间变化的问题。下面逐项解释其含义和边界,而不只把它们列成五个标签。
1.6.1 整体性:把局部放回过程与情境
整体性要求认识局部与整体的关系。某个指标可以描述一个环节,但解释其意义需要了解前后过程、相关对象和总体目标。到场人数更多,可能意味着覆盖增加,也可能伴随拥挤、较低完成率或更高成本。单独看人数,无法说明这些关系。
整体观察并不要求一次收集所有数据。它要求先确定问题涉及哪些重要关系,再选择足以支持判断的材料。若决定是否增加签到人员,重点可能是集中到达时段与等待情况,不必因此取得每位学生的全部生活记录。
整体性还提醒我们,总体汇总不一定代表所有部分。总体评分稳定,某类参与者的体验仍可能恶化。因此,“关注整体”同时包括避免被单一局部支配,以及避免总体数字掩盖重要差异。分组分析将在后续学习。
1.6.2 量化性:把差异表达得更清楚
量化性是用明确的尺度和规则表达状态、差异与变化。“很多人等待太久”提出了问题;记录等待时间及超过某个时长的人数,使比较可以接受检查。量化的价值在于清楚表达和复查,不在于数字本身显得客观。
量化需要说明所测对象、单位、时间和计算规则。“到场率”只有在分子与分母的范围明确时才有解释力。增加小数位可以使表示更细,却不能弥补记录本身的误差:来源不清的 80.00% 不会比口径清楚的 80% 更可信。
不同事物也不能只因为有数字就直接比较。评分等级、编号和金额具有不同含义;满意度与学习收获也不是同一个概念。合理量化必须先理解概念,再决定用什么可观察的材料表达它。
1.6.3 互联性:在关系中理解数据
互联性使我们关注对象之间、业务环节之间和记录之间的关系。报名、签到与后续参与分别描述过程的不同部分,连接后可能发现哪些报名者到场、哪些完成者继续参加。这类认识不能单靠任何一张孤立表获得。
连接必须有语义和记录依据。两张表都有编号,不表示编号一定指向同一对象;两个事件时间接近,不表示是同一个人完成。错误连接可能得到结构完整但实际含义错误的结果。记录能够连接,也不直接证明某种因果关系。
互联性的价值也有条件。匿名反馈即使不能连接到个人,仍可帮助认识整体体验。为了连接而增加标识,可能改变表达意愿或带来隐私风险。应当先解释连接对问题有什么必要价值,再选择适当方式。
1.6.4 价值性:数据的意义取决于问题和使用
数据价值体现为它能够减少哪些重要的不确定性,改善什么理解或支持什么行动。它并不简单等于数据的数量、市场价格或技术复杂性。同一份资料在不同问题中价值不同:历史到场记录可能帮助准备场地,却未必能解释学生对内容的兴趣。
为了体现价值,分析者需要说明数据如何进入决定。如果一个结果不会影响解释、方案或风险判断,就应重新考虑收集和处理它的必要性。收集、清理、保存和使用都有成本,也可能影响被记录者。
价值还涉及不同主体。组织者可能重视效率,参与者可能重视体验和公平。只把某一方容易计算的收益称为“数据价值”,可能遗漏另一方的损失。数据支持权衡,但不能消除价值选择本身。
1.6.5 动态性:判断应当随条件与证据更新
动态性关注时间变化。对象的需求、业务条件、记录方式和行为关系都可能变化。去年合理的安排,今年未必仍合适;过去适用的预测,也可能在环境变化后失准。因此,数据和结论应当带有观察时间与适用条件。
持续更新不意味着只看最新一个数值。一次波动可能来自随机变化、漏记或口径调整。比较前先确认定义一致,再判断变化是否具有解释意义。若记录规则变了,需要说明新旧结果为何可比或不可比。
动态性最终体现为有安排的复查:实施之后观察什么、何时检查、在何种结果下调整。记录新结果而不修正判断,只是不断积累数据;根据可靠新证据改进解释和行动,才形成持续学习。
整体性确定观察范围,量化性明确表达规则,互联性理解关系,价值性连接问题与使用,动态性使认识持续更新。它们共同约束一次分析,不能靠做好其中一项来替代其他检查。
1.7 数据思维的三个重要局限
理解数据思维,也要理解数据何时不能承担我们赋予它的期待。原书第 2 章讨论全数据、量化与相关关系中的问题。本课程从覆盖、测量与推论三个方面解释这些局限。
1.7.1 全数据的幻像:记录完整不等于现实完整
“全数据”必须相对于一个明确范围理解。系统保存了所有扫码记录,可以说明记录没有抽取一部分,却不能说明记录了所有实际到场者。忘记扫码、从其他入口进入或设备故障,都可能使现实中的行为未进入系统。
这里需要区分三个范围:我们关心的现实对象,记录机制能够观察的对象,以及实际保留下来的记录。即使第三个范围没有抽样遗漏,前两个范围仍可能不同。增加同一种记录的数量,无法自动补上机制看不见的部分。
应对这一局限,需要先说明数据覆盖范围,再寻找必要的补充来源。系统日志可以与现场核实、访谈或其他记录相互检查。结果若只适用于平台中的有效记录,就应这样表达,避免写成对所有人的无条件判断。
1.7.2 量化的局限:能够测量的不一定完整代表概念
一个复杂目标常被转化成较容易观察的指标。比如用参加次数观察活跃程度,用完成作品数量观察学习过程。这些量有用,但不能完整代表参与质量或真实学习收获。把某个指标当成目标的全部,会使未被计入的价值被忽视。
量化还可能影响行为。如果只奖励提交数量,人可能增加容易完成的提交,而不投入更有价值但难以计数的工作。这说明指标不仅描述行为,有时也会塑造行为。选择指标时,需要考虑它可能引导什么行动,以及是否遗漏重要结果。
应对方法包括解释指标与目标之间的关系,结合必要的文字和情境材料,并检查未预期影响。本单元先认识这种风险;怎样设计和制衡代理指标,将在第二单元系统展开。
1.7.3 相关性的局限:一起变化不等于因果已知
相关关系表示某些变量存在共同变化的模式。它可以帮助描述关系、提出研究线索,有时也能用于预测。但因果主张进一步要求:改变一个因素,是否会导致另一个结果变化?两种主张需要的证据不同。
例如,收到提醒的人到场率更高,可能是提醒有作用,也可能是本来更愿意参加的人更容易阅读提醒,或者两组人的活动时间不同。仅从共同变化,不能直接选择其中一种解释。即使预测准确,也未必说明执行某项干预会产生预期效果。
应对这一局限,应把观察与解释分开,提出合理的其他解释,判断还需要怎样的比较或检验。第 10—11 周将学习因果边界和对照思路,本单元不要求统计推断公式。
可以。关键是采用与当前认识相匹配的行动:明确已有依据,说明条件与风险,在必要时先核实或进行可复查的小范围尝试。局限帮助我们控制结论和行动的力度,而不要求在任何不确定性下都停止决定。
覆盖局限提醒我们“看见了谁”,量化局限提醒我们“实际测了什么”,相关局限提醒我们“可以推到哪一步”。这三个问题贯穿后续所有分析。
1.8 数据生产:现实怎样进入分析
前面讨论了数据的意义、思维方式及边界,现在进一步考察记录怎样形成。数据生产关注现实中的对象、状态和行为怎样被表达和保存;数据采集则关注怎样取得问题所需要的资料。在实际系统中,两者可能同时发生,但概念上值得区分。
1.8.1 从行为到记录,再到指标
学生走进场地,是现实行为;扫描入口二维码,是记录机制;系统新增编号与时间,是原始记录;按规则核实和去重,得到到场人数;再与有效报名人数对应,才能计算报名到场率。这条过程说明,指标不是脱离记录直接存在的客观答案。
→ 整理与解释规则 → 汇总结果或指标
记录机制说明谁在什么条件下、以什么方式留下记录;数据来源说明从哪个系统、文件或观察者取得记录。仅说“来自系统”仍不够,还要了解触发规则、覆盖入口和异常处理。理解来源与机制,才能知道记录的含义与盲区。
1.8.2 数据单位决定计算的意义
记录数是条目数量,人数是不同对象数量,人次是累计参与次数。一名学生重复扫码,可以产生多条记录;同一学生实际参加三次项目,可以计为一人、三人次。不同单位回答不同问题,不能未经解释互相替代。
去重也需要业务规则。统计活动签到人数时,同一人的多次扫码通常不能反复计人数;分析重复扫码情况时,事件本身又需要保留。不能只因为两行类似就删除,也不能只因为是两行就认定是两个人。明确问题与记录单位,是选择整理规则的前提。
1.8.3 记录怎样连接
连接是把有关记录对应起来,以便理解同一对象或过程的不同方面。本课程先用三个条件判断连接是否有基础:共同对象、统一标识和一致时间。
- 共同对象:记录属于同一场活动或相同业务范围。连接对象必须与问题一致。
- 统一标识:编号在不同来源中指向同一对象。字段名称相同、行号相同或姓名相近,都不能单独保证这一点。
- 一致时间:各阶段窗口的关系清楚。报名截止、活动当天和活动后七天可以不同,但必须共同支持当前问题。
这些是入门检查,连接之后还要检查缺失、重复和错误对应。一个人也可能对应多条事件记录,不应把一对多关系直接当成数据错误。匿名反馈无法连接到个人时,应尊重这一设计边界,保留其汇总和解释价值。
1.8.4 未记录与未发生,未知与零
“未记录”描述资料中没有找到相应内容;“未发生”是关于现实的判断。没有某人的签到记录,可能来自缺席,也可能来自漏签或编号变化。只有记录机制的覆盖和质量足以承担判断时,才能把未记录进一步解释为未发生。
“未知”表示当前没有可靠信息,“零”表示在确定规则和范围下确认数量为零。没有取得后续参与表,不能填写后续参与人数为零。保留未知有助于准确识别缺口,也让下一步补充记录有明确方向。
1.8.5 从生产到使用,需要保留什么说明
资料进入分析后,仍应保留来源、时间、单位与处理规则。这样结果才可以复查,其他人也能理解数字怎样形成。数据还需要被保存、更新、共享或删除,这涉及生命周期与责任,后续单元将进一步学习。
本课程的数据地图,就是把上述关系放在业务过程中的应用工具。它不代表一项新的普遍理论,也不替代概念学习。下一节用一个完整例子,把数据含义、思维特点和证据边界一起用于判断。
1.9 综合应用:从概念到有条件的判断
先把理论用于一个简单比较。校园音乐节 A 有 420 名有效报名者、210 人到场;实践工作坊 B 有 110 名有效报名者、88 人到场。假定到场者都属于对应报名者,记录已按相同规则核实。这两项模拟活动用于观察目标怎样影响判断。
换一个目标,判断会怎样变化?
按记录核实的到场人数
按记录核实的到场人数
目标改变了比较依据,原始人数没有改变。这里还没有比较成本、容量与体验,不能直接把上述判断推广为“整体更成功”。
如果优先考虑覆盖人数,A 提供了更大规模;如果优先考虑报名者的到场情况,B 的比例更高。这里同时使用了量化性和价值性;承认成本与体验尚未知,则体现整体观察和认识边界。选择目标本身仍需要决策者说明理由。
用数据地图理解记录过程
本课程的数据地图是围绕业务问题,梳理数据来源、记录单位、整理口径、连接方式和证据边界的工具。它可以是一张表,不要求绘制数据库结构图,也不要求使用专业软件。
下面换到第 2 周的 W02 实践工作坊。它与前面用于比较的 A、B 活动是不同的模拟活动,人数不共用。假设记录经过核实,并采用以下规则:
- 120 条报名记录按活动、参与者、状态和截止时间整理,得到 100 名有效报名者。
- 84 条签到记录整理为 80 名到场者,均属于这 100 名有效报名者。
- 80 名到场者中,60 人通过实践验收。
- 这 60 人在相同的活动后 7 天窗口内,有 24 人继续参与项目,共产生 30 人次参与记录。
- 反馈问卷不包含个人标识;宣传日志没有可连接的参与者编号。
| 阶段/来源 | 记录单位与口径 | 连接与已知结果 | 当前不能回答 |
|---|---|---|---|
| 宣传/平台日志 | 一条阅读事件;按活动和时间汇总 | 可做活动级汇总;没有个人标识 | 哪次阅读对应哪个报名者 |
| 报名/报名表 | 一条提交;排除无效,按编号去重 | 同一活动的 100 名有效报名者 | 未提交者为何不报名 |
| 签到/签到表 | 一次扫码;核实后按参与者去重 | 活动+参与者编号;80 名报名者到场 | 缺席者的具体原因 |
| 过程/验收表 | 一次验收;按明确完成标准整理 | 同一活动与参与者;60 人完成实践 | 仅凭完成状态判断全部学习收获 |
| 反馈/匿名问卷 | 一份回应;说明题目与回答人数 | 只能汇总回应者意见;评分与人数未给出 | 个人追踪,或直接代表全部到场者 |
| 后续/项目参与表 | 一次参与;限定活动后 7 天 | 参与者编号;24 人、30 人次 | 未继续参与的原因及长期参与情况 |
窄屏上可左右滑动表格,查看证据边界。
同一个分子,可以回答不同问题
到场者实践完成率=60 ÷ 80=75%
有效报名者实践完成率=60 ÷ 100=60%
实践完成者 7 天后续参与率=24 ÷ 60=40%
75% 和 60% 都正确,因为它们的分母不同。30 人次也有意义,但不能拿 30 ÷ 60 当作“后续参与人数比例”,因为同一个人可能参加多次。
从地图提出有限而有用的行动
现有记录显示,60 名实践完成者中有 24 人在 7 天内继续参与,比例为 40%。当前数据不能解释其余完成者未继续参与的原因。建议先了解时间冲突、入口清晰度等可能障碍,再选择改进措施;下次仍按相同窗口与口径记录后续参与。
这里没有说“40% 一定很低”,因为缺少目标或基准;也没有说“改入口一定有效”,因为原因尚未确认。地图帮助我们把已知结果与待核实问题分开,找到下一步值得补充的证据。
1.10 情境迁移:理论怎样约束分析
店铺的曝光、访问、加购、支付、退款和复购,也由业务行为产生记录。不过这些环节并非所有人都会依次经过,退款是一种售后事件,不能把它机械地当成所有客户通向复购的必经阶段。
| 问题 | 需要什么连接依据 | 需要避免的混淆 |
|---|---|---|
| 访问者是否加购 | 可对应的访客编号+时间 | 同一访客可以多次访问或加购 |
| 订单是否退款 | 订单编号+订单状态与时间 | 退款处理记录数未必等于退款订单数 |
| 客户是否复购 | 客户编号+一致观察窗口 | 订单数不是客户人数,观察期长短影响机会 |
| 曝光是否带来访问 | 能够对应曝光与访问的标识或经核实的来源机制 | 只有总曝光数与总访问数,不能追踪个人路径 |
一个访客编号即使不显示姓名,也不一定跨设备、跨平台稳定。连接前应确认它的作用范围。具体渠道归因和漏斗比较在后续单元展开,此处只判断当前数据能否支持连接。
- 店铺数据能证明什么?
某周有 1,000 条访问记录和 100 笔支付订单。负责人说“有 10% 的访客购买了”。这句话缺什么证据?
先想一想,再展开参考解析
访问记录可能包含同一访客多次访问,订单也可能来自重复购买,部分订单可能不属于该周访客。需要核实不同访客人数、其中购买者人数、两者的标识对应和时间范围。100 ÷ 1,000=10% 的算术成立,但暂时不能称为访客购买比例。
1.11 概念自测与个人练习
先合上前面的解释,用自己的话回答,再展开解析。先检查概念是否理解,再完成记录与分析练习;背出名词不能替代说明关系。
- 解释数据、信息与证据
“系统记录了 80 名签到者”怎样形成信息?它能够支持“活动提升了学习能力”吗?
先想一想,再展开参考解析
把记录放入相应对象、时间与规则,可以理解该场活动的签到规模;结合有效报名人数,还可以形成比例信息。它可支持范围明确的签到判断,但没有直接测量学习变化,不能独自承担学习能力提升的主张。证据是否充分,必须针对具体主张检查。
- 解释数据科学与数据思维
会使用工具计算所有比例,是否就意味着已经完成数据思维的学习?
先想一想,再展开参考解析
工具操作是处理能力的一部分,仍需检查比例的对象和口径是否合适、解释是否有证据、行动是否符合目标。数据科学提供研究方法与工具,数据思维关注怎样理解、判断并使用这些能力。正确计算不能自动补全问题与解释。
- 把五个特点联系起来
只评价报名人数,记录得非常精确,是否已经是合理分析?
先想一想,再展开参考解析
尚未。精确记录只涉及量化的一部分,还需检查整体过程和目标、与到场等记录的关系、该结果如何影响决定,以及条件是否需要随时间复查。五个特点共同约束分析,并非满足其中一个就足够。
- 区分三类局限
完整保存扫码记录、用次数代表学习质量、把共同变化直接解释为原因,分别暴露什么问题?
先想一想,再展开参考解析
第一种仍可能遗漏未扫码的现实行为,属于覆盖边界;第二种可能让可测指标替代复杂目标,属于量化边界;第三种把相关推进成因果,属于推论边界。分别需要检查观察机制、概念与指标的关系,以及合理的其他解释。
- 数清人和人次
4 位学生分别参加 1、2、1、3 次后续活动。共有多少参与人数和人次?
先想一想,再展开参考解析
4 人、7 人次。人数计算不同对象,人次累加参与次数。若要计算参与比例,还缺少有资格参与的总体人数和观察窗口。
- 检查连接规则
两张表都有“参与者编号”,就一定能连接吗?
先想一想,再展开参考解析
不一定。还要确认编号指向同一对象、是否属于同一活动、窗口是否合理、是否有缺失或重复。字段名称相同只是线索,不是连接可靠的证明。
- 保留匿名数据的价值
匿名问卷不能连接到个人,是否意味着它没有分析价值?
先想一想,再展开参考解析
不是。可以汇总回应者的体验和意见,发现需要进一步调查的主题。不能进行个人追踪,也不能不加条件地推广到所有学生。匿名可能是有意的设计选择。
- 解释一条有限结论
工作坊后续参与率为 40%。是否可以据此说“学生兴趣不足,所以要增加奖品”?
先想一想,再展开参考解析
不可以。40% 描述给定总体与窗口中的结果,没有提供兴趣、时间冲突、项目入口等原因证据,也没有证明奖品有效。可以先核实可能障碍,再决定行动,并继续记录效果。
个人练习:为一场活动绘制数据地图
选择你熟悉的一场校园活动,或自己设计一个模拟活动。完成六阶段地图,并写一段 100—150 字的判断。不要为了填满表格编造已取得的真实记录;模拟材料应注明“教学模拟”。
- 每个阶段写明来源、一条记录的单位和整理口径。
- 说明哪些阶段可连接,依据什么字段和时间;哪些不能连接。
- 至少写出一个数据缺口,以及它限制了什么结论。
- 写出一条“目标—证据—边界—下一步”的分析。
完成标准:六阶段齐全,单位不混用,连接有依据,未知不填成零,结论不超出证据。没有真实数据也可以完成地图设计。此为自学练习;是否提交、如何计分,以教师在学习通发布的要求为准。
下载数据地图与判断模板(Markdown) ↓1.12 概念体系回顾与关联阅读
本单元从“为何需要数据思维”进入,先建立对象、数据、信息和证据的关系,再区分学科与思维方式,随后用范式、特点和局限解释分析的要求,最后理解记录产生并应用于具体问题。这些概念共同构成后续单元的基础。
认识的方法:科学、统计与数据思维;方法、认识与行动
认识的要求:整体、量化、互联、价值与动态
认识的边界:覆盖、测量与推论
应用:理解记录 → 检查证据 → 作出判断 → 行动与修正
合上教材,试着说明这些问题
可勾选已经能够独立解释的项目。勾选只用于当前页面自检,不计分,也不保存学习记录。
与胡广伟《数据思维》的对应
采用清华大学出版社 2020 年版,ISBN 9787302561385。以下章节定位依据出版社公开目录核实。本读本按这些理论主题组织原创解释,并使用课程补充与模拟例子帮助理解。书中概念涉及更广的讨论,本单元保留适合课程入门的范围。关联章节供进一步阅读,不表示逐字摘录或完整覆盖原章。
| 本单元主题 | 原书关联位置 | 阅读用途 |
|---|---|---|
| 形成背景与数据环境 | §2.1 | 用原料、主体、工具与形式四个角度理解变化 |
| 基本概念、数据科学与思维 | §1.1、§1.2、§1.3 | 建立概念之间的关系 |
| 基本范式与应用过程 | §2.2、§2.5 | 理解方法、认识与行动的要求 |
| 特点与局限 | §2.3、§2.4 | 逐项理解五个特点和三个局限 |
| 数据怎样产生 | 第 5 章;第 6 章关联选读 | 理解生产与来源,具体采集方法后续学习 |
| 记录单位、连接与地图 | 课程补充,与生产、采集和数据理解主题关联 | 将概念用于业务过程;不是原书独立章节 |
本单元学到哪里为止?
必须理解的是基本概念之间的关系、思维特点与局限,以及记录和证据怎样支持判断;范式部分以能举例解释为目标,不要求哲学术语记忆。指标体系与代理指标在第 3 周展开;测量和样本在第 4—5 周展开;数据清理与生命周期在第 6 周展开。本单元不要求数据库设计、代码实现、抽样公式或机器学习算法。
接下来,你已经知道数据怎样来,却还要回答:“提升活动效果”究竟提升什么?第二单元将从这个问题进入目标、指标与统计口径。