刘海丰 AI产品经理 05-16type
status
slug
date
summary
tags
category
icon
password
05 | 通过一个 AI 产品的落地，掌握产品经理工作全流程
即使数据达到算法的需求，产品经理也还是需要协助算法同学做数据准备，因为垂
直业务线的产品经理更了解本领域的数据。
在数据准备的部分，由于数据的不同，我们的获取方式也会有很大的差别。总的来说，数据可以分为三类，分别是内部业务数据、跨部门集团内数据以及外部采购的数据。接下来，我就分别说说这些数据怎么获取。
内部业务数据、跨部门集团内数据以及外部采购的数据
设计 预处理 训练 验证 融合
即便你不需要进行模型构建的实际工作,你也需要知道这个流程是怎么进行的,这方便你了解算法同学的工作，以便评估整个项目的进度。这就好比互联网产品经理不需要写代码，但也要知道研发的开发流程是怎么样的。
在产品定义的阶段，我们需要搞清楚三个问题，这个产品背后的需求是什么，是否需要 AI技术支持，以及通过 AI 能力可以达到什么样的业务目标。
这需要我们和业务方深入沟通，拆解他们的真实需求。
因为数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，所以数据特征是否全面，数据量是否足够对于算法同学来说是非常重要的。
但是，很多产品经理会认为：模型好坏是算法工程师的职责范围，反正自己也不太懂算法,只要算法交付了,对方说达到模型指标就可以了。如果你也这么想,那么你可能最后就变成一个协调性或者执行层的产品经理了,最后整个项目就变成算法主导了,所以我们一定要重视模型评估。
产品背后需求是什么，是否需要ai加持，通过ai能力能达到什么样的的业务目标
06 | AI 模型的构建过程是怎样的？（上）
模型设计
最重要的事情
定义模型目标变量 和 抽取数据样本
重要信息提炼
最重要的就是定义模型目标变量（即什么样的用户是流失的用户，什么样的用户是逾期的用户），以及抽取数据样本。
思考在当前业务下，这个模型该不该做，我们有没有能力做这个模型，目标变量应该怎么设置、数据源应该有哪些、数据样本如何获取，是随机抽取还是分层抽样。
不同的目标变量，决定了这个模型应用的场景，以及能达到的业务预期。
在样本选取上，你必须要考虑季节性和周期性的影响,另外，我们还要考虑时间跨度的问题。
特征工程
核心就是一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
把物体表示成一个向量或矩阵的过程，就叫做特征工程（Feature Engineering）
信息提炼
从样本数据中提取可以很好描述数据的特征，再利用它们建立出对未知数据有优秀预测能力的模型。
特征工程的相关工作最具性价比(无论选多选少，选的优质总是没错，选的少但是优质，也会训练出性能不错的模型)
因此，算法工程师们花费在特征工程建立上面的时间，基本上占整个模型构建的 60%。
对一个模型来说，因为它的输入一定是数量化的信息，也就是用向量、矩阵或者张量的形式表示的信息。所以，当我们想要利用一些字符串或者其他类型的数据时，我们也一定要把它们先转换成数量化的信息。像这种把物体表示成一个向量或矩阵的过程，就叫做特征工程（Feature Engineering）。
表示成一个向量或者矩阵的过程，就叫特征工程
更具体点来说，建立特征工程的流程是，先做数据清洗，再做特征提取，之后是特征筛选，最后是生成训练 / 测试集。
数据清洗，特征提取，特征筛选 生成训练/测试集
数据清洗
通过数据可视化（Data Visualization）的方式直观地查看到数据的特性
数据缺失问题，通过删除缺失值或者补充缺失值手段
数据异常，要么修正要么直接丢弃
信息提炼
1. 数据清洗
基本会遇到的问题，
数据缺失、有异常值、数据不均衡、量纲不一致等问题
解决方法
1.通过数据可视化查看数据的特性，看其是否满足各种要求
2.数据缺失，删除或者取平均；数据异常，改为正常或者删除
3.尽量保持数据均衡，不然会过拟合或者欠拟合（比如识别猫狗猪，猫和狗的数据很多，但是猪的很少，那么实际情况中猪的效果就会相对差一些）
4.量纲不一致，就要做归一化操作（同样都是身高，cm和m的衡量，二者选其一）
2. 特征提取
分别是数值型特征数据、标签或者描述类数据、非结构化数据、网络关系型数据
首先是数值型特征数据
主体变量特征，而页面的停留时长，浏览次数排名等数据就是一些度量维度的特征
其次是标签或描述类数据
包含的类别相关性比较低，没有大小关系
比如，有无房，是否婚姻，可以简单用（0，1）来表示
非结构化数据（处理文本特征）
非结构化数据一般存在于 UGC（User Generated Content，用户生成内容）内容数据中。
提取非结构化特征的一般做法就是，对文本数据做清洗和挖掘，挖掘出在一定
程度上反映用户属性的特征。
nlp
网络关系型数据
根据复杂网络的关系去挖掘任意两人关系之间的强弱，像是家庭关系、同学关系、好友关系等等。
挖掘出一个社交关系网络，这个网络中的信息就能作为我们特征提取的参考了。
特征选择
排除掉不重要的特征，留下重要特征
🏀 场景类比：从50个篮球选手中选出最强首发5人
假设你是球队教练，面对一堆选手（数据特征），你要挑出最强的5个首发球员（模型特征）去参加比赛（建模）。
你不能全上场，所以要进行特征筛选（也就是“选球员”）。
👣 特征选择的3个关键步骤：
就像选球员要看：
- 谁能打得久（出勤率/参与度）；
- 谁得分高（贡献度）；
- 谁状态稳定（表现稳定）；
在机器学习里，也一样有3个指标：
选手属性 | 数据特征中的对应概念 |
出勤率 | 覆盖度（Coverage） → 参与人多不多？ |
得分贡献 | IV值（信息贡献） → 对胜负影响大不大？ |
状态稳定性 | 特征稳定性 → 是不是容易忽高忽低？ |
IV就是information value，为什么说的这么玄乎
4. 训练 / 测试集
开始训练前，数据分为训练集和测试集
所以特征工程是一项很重要的工作，把事物通过一组向量或者矩阵来表示，然后取得的特征值优劣直接影响大模型的质量
数据清洗阶段很简单，就是缺失值和异常值的问题，要么删要么恢复正常要么取个平均值。
然后是特征提取，特征提取的数据大致分为四种，
第一种数值型的，有大小，对比体现，高矮胖瘦有个数值，
第二种描述性的，没有对比，纯粹的描述，有房没有车没结婚没，这种
第三种非结构化的，大多是用户写的流水账，但是我们要从中淘金，让模型能从流水账中看到有效信息
第四种网络关系型的，衡量二者的关系强弱
PRD文档
📄 模型设计阶段的 PRD 文档应该长什么样？
这是产品经理为指导建模所写的文档，重点是清晰、业务导向、结果可落地。下面是建议结构：
1️⃣ 模型目标定义（What）
- 明确模型输出是什么：
- 分类问题（如是否流失）？
- 回归问题（如评分预测）？
- 输出是“概率”还是“标签”？
- 示例：
预测用户在未来30天内是否流失，输出一个流失概率（0~1）。
2️⃣ 场景约束与业务需求（Why）
- 模型服务于哪个业务环节？起什么作用？
- 是否需要做后处理（比如概率分箱、打标签、业务映射）？
- 是否用于推荐、定价、预警、风控等场景？
3️⃣ 数据接入与处理（Where / How）
- 数据来源：
- Hive 表？Kafka / MQ 流？API？
- 数据类型：
- 实时 / 离线？结构化 / 非结构化？
- 数据量级预估（行数、更新频率）
- 数据字典和字段说明（可单独附表）
4️⃣ 模型评估指标（验收标准）（How Well）
- 模型效果指标（根据任务类型）：
- 分类：AUC、KS、F1、准确率
- 回归：RMSE、MAE
- 推荐：CTR、CVR、NDCG 等
- 强调指标的业务导向：指标要能直接关联业务提升效果
- 是否要求实时性 / 可解释性？
5️⃣ 服务性能要求（系统层面）
- QPS（每秒请求量）峰值？
- 接口延迟上限？
- 日均UV（日访问人数）？
6️⃣ 验收标准（Done 的定义）
- 是否达到业务设定指标（例如 CTR 提升 5%）
- 是否集成进实际业务系统
- 是否经 A/B 测试验证有正向结果
- 是否具备自动化监控与报警能力
📌 一句话总结：
模型 PRD = 明确业务目标 + 明确输出形式 + 明确数据来源 + 明确验收标准是产品经理连接数据科学团队的“桥梁文档”，决定了模型能否真正落地、发挥价值。
07 | AI模型的构建过程是怎样的（下）
模型训练
通过不断训练、验证和调优，让模型达到最优的一个过程
决策边界（即自己的可选考虑范围）
决策边界是判断一个算法是线性还是非线性最重要的标准。
般来说决策边界曲线越陡峭，模型在训练集上的准确率越高，但陡峭的决策边界可能会让模型对未知数据的预测结果不稳定。
不断地训练和验证找到的模型参数的最优解，因此，这个最优解绘制出来的决策边界就具有最好的拟合和泛化能力
算法工程师会通过交叉验证（Cross Validation）的方式，找到模型参数的最优解
这里就可以看出聪明人绝对是会妥协的
首先是模型性能。模型性能可以理解为模型预测的效果，你可以简单理解为“预测结果准不准”，它的评估方式可以分为两大类：分类模型评估和回归模型评估。
08 | 算法全景图：AI产品经理必须要懂的算法有哪些？
KNN
KNN 算法优缺点
我们先来说 KNN 算法的优点。
KNN 算法最大的优点就是简单易懂，实现起来非常容易，简单到都不需要进行训练了，只要把样本数据整理好，就可以直接预测新数据了。
除此之外，KNN 在处理边界不规则数据的分类问题时要比线性分类器的效果好。
只适合小数据集
其次，KNN 算法对数据容错性偏低。
KNN 对于数据的容错性很低。比如，当待测样本周围的 K 个数据样本中存在错误样本的时候，就会对预测结果有很大的影响。
决策树
决策树生成的过程包括三个部分，分别是特征选择、决策树生成、决策树剪枝。
决策树的应用案例：预测用户违约
决策树预测用户违约的核心思想是：先获取部分用户的历史数据，历史数据中包括过去的信贷数据和还款结果；然后将贷款客户不断进行分类，直到某个节点的样本用户都是同一个类型为止；最后，再对决策树进行剪枝，简化树的复杂度
随机森林：集体的力量
随机森林(Random Forest)指的是由多棵决策树组成,随机指的是每一个决策树的样本是随机从数据集中采样得到的。假设,模型由三个决策树A. B.C组成,我们给每棵决策树都随机抽取样本进行训练,由于这三棵树的训练样本不一样,因此它们最后得到的决策结果有可能不同。最后,我们再把这三棵树得到的结果做一个综合,就能得到最终的决策结果了。
总的来说，关于决策树和随机森林，我希望你重点记住这 5 点：
- 决策树就是一种树形结构的算法，它很直观，可视化很强，但也容易过拟合；
- 决策树特征选择是生成决策树的基础，不同的算法对应了不同的特征选择方式；
- 集成学习是多个机器学习算法的结合；
- 随机森林是集成学习中的一种，由多棵决策树组成； 随机森林的原理你可以记成：三个臭皮匠赛过一个诸葛亮，它的特点你可以记成：模型起点高、天花板低。
实际上，这一点对于咨询、金融、医疗领域的公司来说非常重要，因为你的客户往往不懂你的模型内部在做什么，但如果你的模型结构清晰，你就能在最短的时间内介绍出模型的优势。而且,因为随机森林这样的集成学习算法融合了多个模型的优点,所以对于解决分类问题来说，决策树和随机森林是当今的机器学习算法的首选，就比如你可能听过的GBDT,XGBoost就是决策树的升级版。
Bagging处理分类问题一般用投票法，处理回归问题一般用平均法
Boosting对错误分类样本加权训练，对弱分类器中误差小的增大权重
16 | 深度学习：当今最火的机器学习技术，你一定要知道
什么是神经网络？
这个例子其实完全可以通过机器学习模型来描述。我们可以把每个“员工”的意见，想象成机器学习中的"特征",把每一层"领导"对收集上来的意见的整合,想象成当前层级的“输出” ,最后把“总经理”收到的结果想象成模型的“最终输出”。这样一来,就形成了一个多层级的机器学习模型,也就是我们说的神经网络。
具体来说，我们可以把这个神经网络用三层结构来表示，分别为输入层、隐藏层，以及输出层。其中，隐藏层对我们来说是黑盒，隐藏层中的每上一个隐藏层的输出都是下一个隐藏层的输入，每一层都是在表达一种中间特征，目的是将特征做非线性高阶变换。
在这个神经网络的结构中，不同层级之间的联系是非常紧密的，因为每个连接层之间的节点（领导），都会和上下两个层级中的所有节点（领导）进行沟通。我们也把这种结构叫做全连接神经网络模型。
神经网络的组成
- neuron（神经元）
首先,图中的一个个"圆圈”就是Neuron (神经元) ,表示当前层级下计算节点的输出,也就是A(n+1),我们可以把它想象成某个层级的领导对收集上来的意见整合后的结果。
- Weights（网络权重）
而"连接线”就是Weights (网络权重) ,表示不同层级之间的连接,用W"表示。我们可以把它想象成不同员工意见的权重，比如核心员工的意见份量就重一些，绩效差的员工份量就轻一些。
- bias
同时，因为每个人所在公司位置不同，所以对于意见的反馈结果也会不同。比如，有些“部门经理”在收到员工的意见后，决定直接放大负面反馈的意见，而有些“部门经理”则决定谨慎处理，减少负面意见反馈的声音。在机器学习中，我们会把这些带有主观偏见的处理,叫做神经网络模型中的 bias偏移,用b"表示。
深度学习模型训练目标
监督类机器学习模型的目标就是在给定一个任务的情况下，找到最优化的参数，使得 Loss 损失值最小，其中 Loss 损失值就是预测结果和真实结果之间的误差。
目标就是在给定一个任务的情况下，找到最优的 Weights 和 bias，使得 Loss 最低。
深度学习具有可解释性弱，模型训练慢，对数据依赖很强，模型复杂这四个缺点。
尽管深度学习的应用有着非常苛刻的条件，但是相对于它的模型性能来说，这些成本的付出还是值得的。深度学习自身的神经网络结构，让它每层的 Activation 激活函数都可以做非常复杂的非线性变化，这也意味着你的模型可以拟合任意复杂的数据分布，所以，它比我们之前讲过的所有算法的性能都要好。
期中周测试题 ，你做对了吗？
假如，你现在是一家电商平台的产品经理，负责点评系统的产品设计，现在有一个需求是要通过计算将海量评论中的垃圾评论（如，打广告的情况）过滤出来，你会怎么思考和设计产品？
过滤 分类 什么是高价值的，什么是垃圾
SVM，k-means这些
海丰答案：
用户评论数据 非结构信息 将非结构化数据转化成结构化的
文本分析中，可以使用“词向量”来表示文本中的数据
举个例子，如果用户评论中出现某些特定词，比如“尊敬的”“您好”“促销”等等，们很有可能属于垃圾评论。那我们就可以用这些词来构成“词向量”,具体怎么做呢?下面，我分三步来讲。
有一句短语叫做“北京亚朵酒店”，以及我们事先积累的词库。
首先，我们可以提出短语的第一个字符串“北”，然后将短语中从“北”字开头的后续的内容与词库中收录的词语进行匹配。当匹配到了词库中的词语“北京”后，就可以停止匹配了，“京”字也就作为终止字符。这样，我们就从“北京亚朵酒店”中提出来了第一个词语“北京”。
接着，我们就可以把“北京”这个词从原始短语中删除，从“亚”字重新开始匹配。
根据字符串匹配的方式，在已知业务常见词语的基础之上，我们是可以将评论中的所有词汇都切分出来的，切分的结果如上图所示。
当然，我这里使用“基于字符串匹配”的分词方式讲解是为了让你更容易理解，在实际工作中，我们通常会采用“正逆向最大匹配”的分词算法，以及如果有更为复杂的短语，
第二步：构建训练集和测试集。
首先，我们需要两组评论，一组用于训练，一组用于测试。目前，历史评论的样本数据我们有了，样本数据的标签（正常评论、垃圾评论）我们也有了，那么，只需要确定特征以后，就可以带入分类算法进行训练了。
第三步：计算概率。
期中答疑 | AI产品经理热门问题答疑合集
关于产品岗位
问题1:如何快速建立对一个行业的结构认知? 想要快速对一个行业有整体的宏观认知,可以先从这个行业的产业链入手,了解这个产业中一个完整的价值创造过程是怎样的,行业里有哪些头尾部公司。获取这些产业认知内容的途径，我总结了一下，一般有 3 种方式：
通过咨询公司报告,如の艾瑞咨询、の易观智库、艾媒网等咨询公司的行业报告了解行业资讯和动态;
通过行业发展报告，如の中国报告大厅、の中国产业研究院 等相关行业发展或投资调研报告；
行业上市公司财报,找行业内的上市公司,通过财报信息能全面的了解,行业的用户、商业、供应链、业务发展等信息。
问题 2：为什么 AI 产品经理多分布在 B 端企业？
问题 3：没有 AI 项目环境，产品经理如何转型？
问题 4：算法工程师如何转型 AI 产品经理？
问题 5：测试工程师如何转型 AI 产品经理？
问题 6：AI 产品经理需要什么样的数学基础？
数学基础是很多转型产品经理都关注的问题。我认为，一个相对完整的数学基础知识体系
包括：线性代数、概率论、数理统计、运筹学（最优化方法）、信息论。
一方面，我们要清晰产品经理对于数学基础的掌握边界。与算法和研发相比，产品经理不需要建模,所以有数学基础不需要你究其原理,如数理统计中的统计推断方法,或运筹学中的最优化方法,你的价值在于利用技术服务业务而不是精通技术。
另一方面，对于想快速入门 AI 领域的产品经理来说，一定要本着知识的落地应用为学习原则,例如作为产品经理来说为什么要学习概率分布,你要知道它在工作中的作用是什么,其中一点是为了和算法同学同频沟通，另一个很重要原因是为了验收产品。
问题 7：什么是数据特征、样本，以及标签？
问题 8：什么是特征归一化？
问题 9：AI 产品 PRD 文档与传统产品 PRD 的不同
🧠 一句话理解：
传统产品PRD关注“功能需求”（做什么功能、流程如何），而AI产品PRD关注“模型行为”（模型输出什么、数据怎么来、效果怎么量化）。
一个是“有把握地造东西”，一个是“不确定地探索最优解”。
🌟 关键区别 × 3 个维度
一、模型输出 ≠ 功能输出
🔧传统产品 PRD：
- 明确列出功能点、交互流程，比如“点击按钮A，出现弹窗B”
- 输出是确定性的，不带“概率”的。
🤖AI 产品 PRD：
- 关注的是模型产出的“概率性”与“连续性”
- 比如是做一个分类模型还是回归模型？输出的是“类别”还是“概率”？
- 还要考虑是否需要后处理：比如把一个“概率”转为用户的“信用等级”，是否需要加阈值、分段等？
👉 核心转变：你不是写功能，而是在定义AI大脑该如何“思考”和“表达”判断结果。
二、数据接入 ≠ 接口调用
🔧传统产品 PRD：
- 关心的是后端接口、功能联调、系统集成。
🤖AI 产品 PRD：
- 需要详细描述数据来源、数据类型、接入形式
- 比如是通过 Hive表？MQ消息队列？每天增量还是全量？
- 数据格式是否规范？是否要进行预处理？是否有脏数据？
👉 AI产品的“引擎”不是代码，而是数据，数据问题没搞清楚，模型跑得再好也白搭。
三、验收标准 ≠ 测试用例
🔧传统产品 PRD：
- 验收标准是“是否功能跑通”、“有没有bug”、“按钮对不对”。
🤖AI 产品 PRD：
- 验收标准是“模型是否达标”、“指标是否收敛”、“是否优于Baseline”
- 你要写明：我们以什么作为“验收指标”？比如：AUC > 0.85，Recall > 90%，KS > 0.3等
- 还要结合业务目标制定“任务导向指标”，比如“点击率提升5%”、“GMV提升10%”等
👉 验收不是简单的Yes/No，而是模型在真实环境中“是否值这个钱”！
🔍 现实场景举个例子：
比如你做一个信息流推荐系统：
- 传统PRD会写：用户滑动看到推荐内容，每条内容配图配文，点击进入详情页……
- AI PRD会写：模型输出一个排序分值，基于特征如用户画像、内容热度、上下文点击行为……模型采用双塔架构，优化目标是CTR最大化，使用AUC做离线评估，线上AB实验提升点击率5%为合格标准……
是不是完全两个世界的表达方式？
🧩 总结归纳一下：
维度 | 传统产品 PRD | AI 产品 PRD |
输出关注点 | 功能设计、交互逻辑 | 模型输出、概率解释、后处理 |
核心输入 | 用户需求、页面流程 | 训练数据、特征工程 |
验收方式 | 功能测试是否通过 | 模型指标是否达标（AUC、KS、Recall） |
风险点 | UI bug、接口超时 | 模型失效、数据漂移、指标不收敛 |
产研配合 | 需求写好就能干 | 需求迭代 + 数据探索 + 模型调参 + 验证 |
💡 一个实用建议
写AI产品PRD的时候，你要始终记得：
你不是在写一台确定动作的“机器说明书”，而是在描述一个“黑盒大脑”在不确定环境中如何“决策”的依据与边界。
这正是AI产品经理需要比传统PM多思考一层的原因。
如果你需要一个模板或者帮你写一份AI产品的PRD文档样例，我也可以立即为你生成。需要就说一声。
在描述一个“黑盒大脑”在不确定环境中如何“决策”的依据与边界
描述一个黑盒大脑在不确定环境环境中如何决策的依据与边界
- Author:盛溪
- URL:https://tangly1024.com/article/%E5%88%98%E6%B5%B7%E4%B8%B0%20AI%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86%2005-16
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
