科创中国

行业领域

电子信息技术

需求背景

传统实验方法基于统计检验的显著性来判断新策略相比现有策略的有效性。新策略的相对增量和实验样本量越小，越难带来显著的策略检验结果。随着业务进入深水区，新策略相对增量日渐减小，导致实验成本增加，难以拿到显著评估结果和定位有效策略，难以指导业务快速迭代。因此，研究和落地更高效的实验设计和评估方法，并科学利用滴滴丰富历史数据，可以提高实验效率，降低实验成本，快速定位和累积有效策略，指导业务迭代。

需解决的主要技术难题

1.研究落地前沿自适应实验设计分析方法，提高随机实验效率；

2.研究落地前沿因果推断方法，科学利用滴滴历史数据，辅助探查实验数据中的策略效果，提升效率；

3.精细化策略评估，为策略效果评估提供更丰富的角度。

期望实现的主要技术目标

现有 A/B 实验对样本利用缺乏针对性，策略评估效率低。本计划将利用样本历史信息，提出优化策略评估效率的实验设计模型，根据历史数据自适应分流实验个体，最大化评估策略效应。现有策略评估都是基于收取新的实验数据进行评估，忽略了丰富历史数据信息。 本计划将提出强化学习框架下迁移学习模型，能同时考虑历史数据和实验新数据，并根据实验数据的特征，科学挑选相应历史数据。评估指标：1.实验时间缩减幅度（新方法实验时间/现有时间）；2.收益提升：评估方法认为有效的新策略的收益，长期收益，打包实验收益。现有评估着眼策略对人群的总体平均水平的作用。本计划将落地时间片实验分位数因果模型，更全面地评估策略对人群分布各分位数水平（例如，不同用户价值的群体）的影响，将能帮助业务更全面地理解策略效果和业务价值。评估指标：1. 全面性：策略在细分人群的显著作用；2.区分性：细分人群之间的显著区别。

需求解析

解析单位：“科创中国”工业互联网产业科技服务团（中国计算机学会） 解析时间：2023-10-12

杨平乐

上海理工大学

副教授，智能控制与数据处理研究所副所长

综合评价

这些技术需求的研究和应用对于提高数据分析的效率和精度具有重要的意义和应用价值。具体来说： 1. 研究落地前沿自适应实验设计分析方法，提高随机实验效率：通过研究自适应实验设计分析方法，可以优化实验设计和数据分析的效率，提高随机实验的精度和效果，进而更快地迭代和优化策略。这对于业务的持续优化和发展具有重要的意义。 2. 研究落地前沿因果推断方法，科学利用滴滴历史数据，辅助探查实验数据中的策略效果，提升效率：通过科学的因果推断方法，可以更好地利用历史数据辅助探查实验数据中的策略效果，提高策略评估的效率和精度。这对于策略效果的全面评估和优化具有重要的应用价值，可以帮助业务更好地了解和改进策略的效果。 3. 精细化策略评估，为策略效果评估提供更丰富的角度：通过更丰富的评估角度和评估指标，可以更准确地评估策略的效果。这对于策略效果的全面评估和优化具有重要的意义和应用价值，可以帮助业务更好地了解和改进策略的效果。 综上所述，这些技术需求涉及到数据分析的重要方面，对于提高数据分析的效率和精度具有重要的意义和应用价值，可以帮助业务更好地了解和改进策略的效果，进而提高效率和降低成本。

查看更多>

处理进度