09月22日, 2014 210次
近年来，直播带货变成一种新的热门业态。主播在直播间与线上花钱者24钟头交互健身，这极大的提高了消息交流的效率。在这种24钟头性极强的场景，主播对直播间24钟头消息的使用有可显然波及直播间的带货状态。
为了让主播24钟头、准确的学会直播间的消息，我们为淘系的主播们提供了一款AI智能资料助理，帮助他们在直播中和下播后方便、准确、全面的查看和分析资料，进而做出决定和动作。
当主播们每天高频使用AI智能资料助理之后，我们通过线上AB实验并混合量化分析方法证明了资料 > 决定 > 动作 > 资料这一闭环的存在，验证了资料与动作之间的因果，同一时间，证明了资料业务的价值。
01
背景
1. 淘宝带货直播
现如今电商直播带货已经变成卖家销售的超级热门且重要的路子，而其所主要依赖的只是各个直播平台，淘宝带货直播作为之中的领军者，相信各位都有用过、或者有所了解。在直播的业务场景中，淘宝主播主要会做以下的事件：
综上，主播在整个直播业务流程里面要做的事件很多，所以主播对于平台有了一些期望和诉求，希望通过丰盛平台的实力，帮助他们更加好的带货和成长。
从直播流程讲解中我们不难发现有很环节都是需要资料支撑的，例如主播怎么更快选到适合的商品，直播中怎么样更加好的进行策略的修改、怎么更加好的交互健身，下播后怎么提高复盘的质量和效果，下场直播哪些需要改进、哪些需要坚持等等，接下来一起看下主播有哪些核心诉求以及其对应的解决问题方案。
2. 主播诉求
在线直播过程中能够24钟头的修改直播策略，提高直播质量，提高C端客户体验。
下播后，能够及时的复盘本场全体表现，直播实力、带货实力、交互健身实力、粉丝粘性、流量运营等是否满足预期，下次开始播需要做哪些策略修改与准备。
希望有资料应该帮助了解自己的粉丝圈子交流群体，以便于更加好的做粉丝运营。
希望有资料应该辅助主播更加好的成长，例如自己在行业中排名怎么样，竞对有哪些优点应该学习，自己哪些短板需要改进等（知己知彼百战不殆）
3. 解决问题方案
基于主播诉求，达摩院资料AI智能团队和淘宝带货直播团队制定了如下解决问题方案：
提供24钟头直播场次报告，通过不一样维度、不一样展现形式让主播能够在直播过程中24钟头查看全面的核心场次资料，并且同一时间支持PC和app端查看。
提供下播报告，提供整个场次完美的资料内容，相比24钟头场次报告更是多了AI智能决定实力、流量运营总结等实力
提供资料机器人，以谈话的方法，方便主播及时查看直播诊断、行业排名等资料，给出成长建议，帮助主播成长
提供文本挖掘的实力，对于直播中评论文本进行挖掘聚类，为主播提供及时的C端客户心声（体现在场次报告中）
决定AI智能实力，查看直播过程中的关键时间点，基于此做多模态归因分析，将多模态查看结果及直播快照在离线场次报告的趋势图模块进行展示。
针对头部龙头大主播，提供主播大屏，方便运营管理团队人员24钟头查看直播核心资料，特别是在促销和大促时，便于团队多人协作、及时作出适合决定。
提供场次对比实力，允许主播急速多维对比简史多场表现，总结直播经验，提高复盘效率。
以上解决问题方案对应的只是AI智能资料助理的业务实力，之中内含了场次报告、主播大屏、场次对比、资料机器人，以上业务具备PC+APP两种形态展示，资料同一时间支持直播中和下播后。接下来我们一起看下各个业务形态及其核心实力。
02
业务
1. 场次报告
首先我们看PC端，主播在直播过程中，客户点一下淘宝带货直播中控台推流窗口右边最下角的【查看仔细】按钮，就应该跳到24钟头场次报告窗口，以便主播24钟头的了解直播间状态，24钟头做出适合决定。
下播后，主播在淘宝带货直播中控台我的直播页里，应该观看到的简史开始播场次，点一下每一个场次右边的【资料详情】也会跳转到离线场次报告页面（也变成下播报告），主播应该基于整场直播的资料做离线复盘。
在场次报告的右边应该观看到的几个按钮，最显眼的只是PK场次对比、资料大屏，这两个按钮点一下后应该分别跳转到场次对比和主播资料大屏页面中，那除此之外还有另外四个目录：总览、趋势、流量、商品，分别链接到资料总览、趋势分析（集成多模态查看归因实力）、流量运营、商品分析四大功能模块，下面逐个解说下：
核心总结资料：这里又分访问、转化、成交三部分，有关指标都做了粉丝占比资料分析。
访问主要包括观看次数、浏览次数、在线人数、观看时长等指标
转化主要包括新增粉丝数、商品引导PV\UV、点一下率等指标
成交主要包括引导成交笔数、人数、金额，预售下定金额、尾款金额等指标
24钟头趋势：主要分为流量波动、粉丝转化、成交运营三种类别核心指标的趋势分析。
目前我们做的是每5分钟打一个点，资料24钟头更新，让主播应该直观的观看到的直播过程中资料的趋势变化，以辅助其做出适合的决定；
该模块中集成了多模态查看归因实力，根据有关指标趋势的波峰波谷时间点通过算法模型计算出不正常点位，之后互搭直播快照、商品上下架、交互健身资料及多模态实力查看出在某个不正常点是因为那些原因怎么原因导致的该指标不正常，同一时间将直播回放定位到该时间点点位，大大提高主播发现复盘改进提高的效率。
流量运营：主要包括24钟头流量运营【趋势图】、离线分路子流量运营占比两大功能。
24钟头流量运营往往一般是进入到直播间的流量来源趋势图，目前包含关注、讲解、广告、店铺、搜索等13种流量来源，主播应该根据每种流量来源的趋势资料进行24钟头流量运营及决定
分路子流量运营主播应该判断场次全体的流量分布是否符合预期，有问题应该急速发现
商品分析：该模块主要展示直播间每一个上架商品的引导、成交状态，核心指标包括商品点一下次数、人数，商品成交金额、件数，商品预售下定金额、尾款金额等，这里主播应该观看到的每一个商品的24钟头资料状态，以便于其24钟头修改播报顺序及策略。
以上是PC版，场次报告同一时间也提供了APP端展示形式，更加方便主播的使用，接下来我们仔细看下：
在APP端，主播开始播推流后，在手机【推流窗口左滑】就应该进入场次报告中，这里是通过浮层的形式进行展现，主播看完资料【指头在场次报告页面右滑】就应该回到推流窗口，操作超级方便；其展示的资料指标和PC端坚持一致，但是由于APP的空间压制，我们只筛选了PC端指标里面的重要指标进行了展示，同一时间也间接的给主播减压，通过最核心的指标急速决定。
2. 资料大屏
直播资料大屏是头部龙头大主播的权益（目前只有V级别4、5的才有权限），资料大屏再促销、大促等关键时间点基础发挥着至关重要的作用，场次报告中有谈到，在场次报告PC端的右边点一下【资料大屏】按钮进入到主播资料大屏中，资料大屏是集成在PC端【APP端没有】，相对于场次报告，是一种更炫酷的展现形式，其展示的资料指标也更加聚焦。
这里的功能模块主要包括：核心的三大指标累计观看此时此刻、累计成交金额、新增粉丝数，观众地理地区排行（和中间的华夏地图动态呼应），观众画像指标，粉丝成交占比等等
3. PK场次对比
基于主播开始播近期平均表现，划定benchmark，进行客观的直播间场次资料复盘；提供自己定义设置场次对比工具，允许主播急速多维对比任意两场表现，总结直播经验，提高复盘效率；在场次报告PC端的右边点一下【PK场次对比】按钮进入到场次选择页面，主播应该选择简史两场直播，点一下确认按钮后进入场次对比页面，
这里主要包含首页5大核心指标（访问客户数、最高在线人数、平均停留时长、新增粉丝数、引导成交金额）的对比，以及之中四类核心指标的对比详情，提供了多种PK展现形式，例如最高在线人数趋势分析PK，引导成交流量转化漏斗PK等等、
4. 资料机器人
资料机器人是APP端的实力，在淘宝主播APP首页，点一下【看资料】进入到机器人页面，资料机器人通过谈话的形式和主播进行多样的资料交互健身；
在谈话页客户应该问一些，例如直播诊断、直播的核心资料、排位赛日程等新闻消息，另外主播应该输入一些自己想看的指标，例如输入成交，资料机器人应该AI智能查看主播的问题，并混合以往的简史资料给到主播想要看的资料指标。
资料机器人里还集成了一些像直播诊断的实力，直播诊断应该为主播提供主播实力雷达图，让主播能够直观的观看到的自己哪些方面在行业里做得对比好，哪些方面还有待提高。还提供全网络、同级同类目成交排名等指标让主播了解自己在行业中的排名状态等等。
另外，资料机器人还集成了大促战报的push实力，让参加大促的主播能够及时的了解大促期间的直播有关资料。
5. 业务果实
上面讲解了资料助理的全部业务形态，资料助理业务日常峰值服务75+%的淘系主播，覆盖淘宝带货直播、空闲鱼直播、淘特直播等业务。
资料助理提供了资料查询实力，主播应该查询24钟头场次资料、核心指标趋势、带货成交资料，以及大屏监控、简史场次资料PK分析；也提供了AI智能实力，不正常点检测、多模归因、直播诊断等实力，帮助主播定位直播过程中的优缺点；还提供了仔细化运营实力，例如权益投放、粉丝运营、流量运营等等。仔细化运营效果又应该通过直播过程中的24钟头资料建议出去，形成资料的闭环，真正实现了资料赋能主播、AI智能辅助主播决定。
03
资料建设
1. 资料链路
基于初期对于资料助理业务的规划，我们做了仔细的资料架构设计、平台调研选型，同一时间兼顾性能及成本。
我们重要时机针对Lindorm和ADB进行了调研、验证和对比，由于业务特性（多维查询、24钟头性、灵巧性要求对比高）最终选择了ADB进行支持。
由于资料助理是直接服务与淘宝主播，所以对于稳固性要求超级高，为了保障业务的高可用，我们做了核心链路【计算、存储、服务】的双链路保障。
通过霸下进行拦截恶意进攻流量，降低资料2/3的恶意无效资料访问，大大降低了存储及服务的资源消耗。
在很多的直播业务有复用要求后，我们也及时的升级进化了资料链路，提取24钟头资料中间层，DWS资料同一时间写入ADB、Lindorm、TT以支持不一样直播业务场景的要求，做到了一份资料、一个口径、多场景复用。
2. 资料分层
资料链路中提到了建设直播资料中间层，接下来我们一起仔细看下，中间层建设分为资料接入层、资料中间层【DWD、DWS】、业务应用层。
资料接入层：主要来源于直播业务资料、集团公共层、达摩院AI智能资料
资料中间层：分为DWD、DWS层、维表、又包含24钟头资料建设和离线资料建设，以下重要时机将24钟头部分、离线资料建设和24钟头是坚持一致的DWD层重要时机建设直播间明细层资料，之中包含直播间曝光、点一下、观看、交互健身（评论、点个赞、共享、关注等）、商品引导、商品成交、商品预售、直播间文本语义查看、多模归因、关键点查看等资料DWS层我们主要做了直播间、直播间+商品、直播间+路子、直播间+来源、直播间+粉丝等直播间有关维度的总结及趋势资料、同一时间还包含直播间的多模资料
维表：内含了直播业务链路中的各种维度资料，例如直播间、主播、商品、客户、卖家、商品类目、路子、来源等等
业务应用：这里往往一般是中间层资料服务的对象，包括达摩院直播赛道【资料助理、数字人、直播一体机、主播助理】、直播中控台、生意参谋、业务360等等
随着直播业务越来越火，达摩院直播赛道（资料助理、主播助理、虚拟人、直播一体机）以及集团很多的直播业务业务线陆续启动，这套资料也获取了较好的复用；之后更是与集团DT团队、淘宝带货直播资料团队一起搭建了集团内容中间层，基于此也完善了达摩院自己的直播资料中间层。
3. 架构总结
整个资料助理业务资料架构建设，应该以上图作为总结，我们同一时间支持PC端或者APP端开始播后的资料展示，多端坚持资料一致性，24钟头资料下播后以下播报告的形式展现、很多的业务形态与此类似，24钟头离线资料使用同一份、严厉保证资料的口径一致。与此同一时间我们有达摩院的AI智能实力加持，赋予了资料助理资料业务的AI智能化特性。
04
业务价值
基于前面讲解的主播诉求，以及针对主播诉求资料助理业务的内容和架构。经统计发现有很多的主播在直播过程中或下播后，真的是在使用资料助理业务的。那接下来我们想了解主播用了资料助理业务，是不是真的波及到了主播的决定，真的为主播的直播弄来咯一些价值。所以我们想通过课题实验的方法，进行实验，分析资料，用资料来说明资料助理业务的业务价值。于是我们与清华大学经管学院电子网络商务实验室的朋友和老师一起来实现了课题的内容。
1. 实验过程
① 提出问题
因为资料助理已经提供给主播，所以在不波及主播使用的前提下，我们选择了双十二版本的资料助理24钟头场次报告的内容来做验证。双十二版本的24钟头场次报告与曾经的版本相比是增加了24钟头预售消息的，双十二版本的24钟头预售消息主要体现在这两个地方：第一个是指标总览的成交是应该观看到的本场次全部预售商品的总的成交状态的；第二部分是在商品分析模块中，每一个预售商品都应该24钟头地查看预售的金额，笔数等指标。
② 实验设计
实验设计部分，我们的实验方案是根据主播帐号尾号随机分组，尾号0、1、3、8的主播在12月1号到12月3号的预售期间进行直播使用资料助理的24钟头场次报告的时候是应该观看到的24钟头预售消息的，而很多的尾号的主播在相同的时间进行直播使用资料助理是看不到24钟头预售消息的。能观看到的的主播即实验组，看不到的即对照组。如下图所示：
③ 资料分析
a. 基础资料准备
实验结束未来进行了如下的资料分析：
统计发现主播使用资料助理且场次中含有预售商品的实验组直播场次有737场，对照组直播场次有1051场。
对实验组和对照组而进行了主播粉丝数、预售商品数、主播级别、上月播出时长等关键指标的对比分析，发线下验组和对照组在这些指标上的表现是不存在显然差异的。指标的定义和分析结果如下图所示：
又作了进一步的过滤，只关注预售商品销售额大于1的直播间。进一步过滤之后，我们又做了以上关键指标的对比分析，确认实验组和对照组在关键指标上不存在显然差异，至此保证两组可比。
详细指标的分析是通过T检验的方法，仔细的分析数值如上图所示。这种实验课题分析目前已经完成，且对外说说了：
Y. He et al., “The Sales Data Sells : Effects of Real-Time Sales Analytics on Live Streaming Selling,” in AMCIS, 2021, pp. 1-10.
https://aisel.aisnet.org/amcis2021/data_science_decision_support/data_science_decision_support/12/
b. 主分析-资料助理有效
在保证了实验组和对照组可比之后，我们进行了商品销售额的分析。下图圈选部分为预售商品销售额的分析结论。Model 1代表的是引入了是否达人，主播级别，还有商品种类等直播间特性的回归分析的结论。Model 2是不思考直播间以上特性的分析结论。P value都是小于0.01的，P value越小，结果越显然。
另外，我们又做了进一步的鲁棒性校验：在实验组和对照组中，没有使用资料助理的直播重复主分析，发现预售商品销售额不存在显然差异。
综上，主分析结论为：24钟头预售消息的引入显然提高预售商品的销售额，提高log(sales) 18.6%。
c. 资料助理为何有效
有了以上分析得出的主结论，主播观看到的了实施预售消息后是什么样实现预售商品销售额的提高的，我们做了以下两个假设：第一个是主播延长预售商品的直播时间。第二个是提高销售效率。
由于无法确切地获取主播对某个商品进行讲解的持续时间，所以我们选择用客户点一下某个商品的时间分布区间取时间分布的中间部分，作为主要点一下时间的区间，近似模拟商品直播时间。取【X%-Y%】分别为【10%-90%】、【20%-80%】、【30%-70%】、【40%-60%】进行分析，分别对应Model3、Model4、Model5、Model6。
同一时间定义了销售效率的概念，将销售效率定义为销售额除以主要点一下时间区间。
对实验组和对照组的资料进行仔细分析，对应分析资料如下图所示，得出结论：
相比于对照组，实验组预售商品的主要点一下时间区间没有显然延长，故不支持假设1；
相比于对照组，实验组预售商品的销售效率显然提高，故支持假设2。
更进一步，对实验组和对照组观众在直播间的评论资料做了分析，抽取一些关键词进行比例的分析以及词云的分析，如下图所示，得出如下结论：
相比于对照组，实验组中客户对预售的研究比例更高；
相比于对照组，实验组中客户提到缺货消息比例更低；
相比于对照组，实验组中客户问题比例更低。
d. 资料助理对谁有效
进一步，根据主播粉丝数的分位数，将样本分为三个子集，分别对应粉丝量少、中、多的直播间在每一个子集上进行分析，资料如下图所示，分析结论：对中等粉丝量的直播间显然提高预售商品销售额，对粉丝数少和多的直播间效果不显然。
资料助理不提供全自动刷新功能，若要看最新的资料需要手动刷新，一次手动刷新算一次使用。根据主播一场直播使用AI智能资料助理次数的中位数，区分深度使用和较少使用AI智能资料助理的主播进行指标分析，如下图所示，得出以下结论：
直播中主播使用AI智能资料助理次数较多的直播场次，提供24钟头预售消息显然提高预售商品销售额。
