xiu主题做的网站,呼和浩特装修网站,定州网站建设兼职,河北省衡水市景县规划网站最近在看时间序列的文章#xff0c;回顾下经典 论文地址 项目地址 Forecasting at Scale 3.2、季节性 3.3、假日和活动事件3.4、模型拟合3.5、分析师参与的循环建模4、自动化预测评估4.1、使用基线预测4.2、建模预测准确性4.3、模拟历史预测4.4、识别大的预测误差 5、结论6、致…最近在看时间序列的文章回顾下经典 论文地址 项目地址 Forecasting at Scale 3.2、季节性 3.3、假日和活动事件3.4、模型拟合3.5、分析师参与的循环建模4、自动化预测评估4.1、使用基线预测4.2、建模预测准确性4.3、模拟历史预测4.4、识别大的预测误差 5、结论6、致谢 3.2、季节性
企业时间序列通常由于它们所代表的人类行为而具有多期季节性。例如5天的工作周可以在时间序列上产生每周重复的效应而假期安排和学校放假可以产生每年重复的效应。为了拟合和预测这些效应我们必须指定季节性模型这些模型是关于 t 的周期函数。
我们依靠傅立叶级数提供周期效应的灵活模型Harvey Shephard 1993。让 P 表示我们期望时间序列具有的常规周期例如对于年度数据P 365.25对于每周数据当我们将时间变量按天计算时P 7。我们可以用傅立叶级数来近似任意平滑的季节效应 s ( t ) ∑ n 1 N ( a n c o s ( 2 π n t P ) b n s i n ( 2 π n t P ) ) s(t) \sum_{n1}^{N}(a_ncos(\frac{ 2πnt}{P})b_nsin(\frac{ 2πnt}{P})) s(t)∑n1N(ancos(P2πnt)bnsin(P2πnt))
标准傅立叶级数。拟合季节性需要估计2N个参数 β [ a 1 , b 1 , . . . , a N , b N ] T β[a_1,b_1,...,a_N,b_N]^{\texttt{T}} β[a1,b1,...,aN,bN]T。这是通过为历史和未来数据中的每个 t 值构建一个季节性向量矩阵来完成的例如对于每年的季节性和 N 10。 X ( t ) [ c o s ( 2 π ( 1 ) t 356.25 ) , . . . , s i n ( 2 π ( 10 ) t 356.25 ) ] X(t)\begin{bmatrix} cos(\frac{ 2π(1)t}{356.25}), ...,sin(\frac{ 2π(10)t}{356.25}) \end{bmatrix} X(t)[cos(356.252π(1)t),...,sin(356.252π(10)t)] (5)
季节性成分是 s ( t ) X ( t ) β s(t)X(t)β s(t)X(t)β (6)
在我们的生成模型中我们采用 β N o r m a l ( 0 , σ 2 ) β~Normal(0, σ^2) β Normal(0,σ2)对季节性施加平滑先验。
将序列截断到 N对季节性施加了低通滤波器因此增加 N 可以适应更快变化的季节模式尽管存在过度拟合的风险。对于年度和每周季节性我们发现分别使用 N 10 和 N 3 对大多数问题效果良好。选择这些参数可以使用诸如 AIC 的模型选择过程进行自动化。
3.3、假日和活动事件
假期和事件对许多企业时间序列提供了大而有些可预测的冲击通常不遵循周期模式因此它们的影响无法很好地通过平滑周期来建模。例如美国的感恩节是在11月的第四个星期四举行的。美国最大的电视节目之一——超级碗则在1月或2月的某个星期日举行难以编程声明。世界上许多国家有根据农历计算的重要节日。特定假期对时间序列的影响通常每年相似因此将其纳入预测非常重要。
我们允许分析师提供一个自定义的过去和未来事件列表由该事件或假期的唯一名称识别如表1所示。我们包括一个国家列以便除全球节日外保留特定于国家的节日列表。对于给定的预测问题我们使用全球节日集合和特定国家节日集合的并集。
将这个假期列表纳入模型中是基于假设假期效应是独立的。对于每个假期 i设 D i D_i Di 为该假期的过去和未来日期集合。我们添加一个指示函数表示时间 t 是否在假期 i 期间并为每个假期分配一个参数 κ i κ_i κi该参数是相应预测变化。这与季节性类似通过生成回归器矩阵来完成。 Z ( t ) [ 1 ( t ∈ D 1 ) , . . . , 1 ( t ∈ D L ) ] Z(t) [1(t \in D_1),..., 1(t \in D_L)] Z(t)[1(t∈D1),...,1(t∈DL)]
并采用 h ( t ) Z ( t ) κ h(t)Z(t)κ h(t)Z(t)κ (7)
与季节性一样我们使用先验 κ ∼ N o r m a l ( 0 , v 2 ) κ \sim Normal(0,v^2) κ∼Normal(0,v2)。
通常包括特定假期前后一段时间窗口的效应非常重要比如感恩节周末。为了解决这个问题我们为假期周围的日期添加额外的参数本质上将假期周围的每一天都视为一个假期。
3.4、模型拟合
当将每个观测的季节性和假期特征结合到矩阵X中并将变化点指示符a(t)结合到矩阵A中时模型(1)可以在几行Stan代码Carpenter et al. 2017中表示如下所示。对于模型拟合我们使用Stan的L-BFGS算法找到最大后验估计但也可以进行完整的后验推断将模型参数的不确定性包括在预测的不确定性中。 图4显示了Prophet模型对图3中Facebook事件时间序列的预测。这些预测与图3中相同的三个日期一样仅使用该日期之前的数据进行预测。Prophet模型能够预测每周和每年的季节性与图3中的基准模型不同它不会对第一年的假期下降作出过度反应。在第一个预测中Prophet模型在只有一年数据的情况下稍微过拟合了每年的季节性。在第三个预测中模型还没有学习到趋势已经发生变化。图5显示了一个包含最近三个月数据的预测展示了趋势的变化虚线。
可分解模型的一个重要优势是它允许我们分别观察预测的每个组成部分。图6显示了与图4中最后一个预测相对应的趋势、每周季节性和每年季节性组件。除了产生预测之外这为分析师提供了洞察他们的预测问题的有用工具。 清单1中的参数tau和sigma是对模型变化点和季节性正则化程度的控制参数。正则化对于避免过拟合是重要的然而很可能没有足够的历史数据通过交叉验证来选择最佳的正则化参数。我们设置了适用于大多数预测问题的默认值并且当需要优化这些参数时会与分析师进行协商。
3.5、分析师参与的循环建模
经常进行预测的分析师通常对其所预测的数量具有丰富的领域知识但在统计知识方面却知之甚少。在Prophet模型规范中有几个地方可以让分析师调整模型以应用他们的专业知识和外部知识而无需理解底层统计学。 能力分析师可能拥有关于总市场规模的外部数据并可以直接通过指定容量来应用这些知识。 变化点已知的变化点日期如产品变更日期可以直接指定。 假期和季节性我们合作的分析师具有哪些假期影响哪些地区增长的经验他们可以直接输入相关的假期日期和适用的季节性时间尺度。 平滑参数通过调整 τ τ τ分析师可以从更全局或局部平滑的模型范围内进行选择。季节性和假期平滑参数 ( σ , ν ) (σ,ν) (σ,ν)允许分析师告诉模型未来预期的历史季节变化有多少。
借助良好的可视化工具分析师可以使用这些参数来改进模型拟合。当将模型拟合绘制在历史数据上时很快就能发现自动变化点选择中遗漏了哪些变化点。τ参数是一个单一的旋钮可以调整趋势的灵活性σ是调整季节性分量强度的旋钮。可视化提供了许多其他有益的人为干预机会线性趋势或逻辑增长、确定季节性的时间尺度以及确定应该从拟合中剔除的异常时间段等。所有这些干预都可以在没有统计专业知识的情况下进行是分析师应用其见解或领域知识的重要途径。
预测文献通常区分基于历史数据拟合的统计预测和人为判断的预测也称为管理预测后者由人类专家使用已经学到对特定时间序列有效的任何过程产生。这两种方法各有其优势。统计预测需要较少的领域知识和人类预测者的努力并且可以轻松扩展到许多预测。人为判断的预测可以包含更多信息并且对变化的条件更具响应性但可能需要分析师进行大量工作。
我们的分析师参与的循环建模方法是一种替代方法试图通过使分析师的努力集中于在必要时改进模型而不是通过某种未经说明的程序直接产生预测从而融合了统计和人为判断预测的优势。我们发现我们的方法与Wickham和Grolemund2016提出的“转换-可视化-建模”循环非常相似其中人类领域知识在一些迭代之后被编码到改进的模型中。
典型的预测扩展依赖于完全自动化的程序但已经在许多应用中显示人为判断的预测在准确性上表现出色。我们提出的方法让分析师可以通过一小组直观的模型参数和选项对预测进行判断同时保留在必要时回归到完全自动化的统计预测的能力。截至目前我们只有零星的实证证据表明可能会改进准确性但我们期待未来的研究可以评估分析师在模型辅助设置中的改进效果。
在规模化的情况下让分析师参与其中的能力至关重要这在很大程度上依赖于预测质量的自动评估和良好的可视化工具。我们现在描述如何自动化预测评估以确定最相关的预测以供分析师输入。
4、自动化预测评估
在本节中我们概述了一种通过比较各种方法并确定需要手动干预的预测的流程来自动化预测绩效评估的方法。这个部分与所使用的预测方法无关并包含我们在多种应用中进行生产业务预测时制定的一些最佳实践。
4.1、使用基线预测
在评估任何预测过程时比较一组基线方法非常重要。我们喜欢使用简单的预测方法对底层过程进行强烈的假设但在实践中可以产生合理的预测。我们发现比较简单的模型最后一个值和样本均值以及第2节中描述的自动预测程序非常有用。
4.2、建模预测准确性
预测是在一定的时间范围内进行的我们用H表示这个范围。这个范围是我们关心预测未来多少天的数量通常是30、90、180或365天。因此对于任何具有每日观察的预测我们会产生高达H个未来状态的估计每个状态都会与一些误差相关联。我们需要声明一个预测目标来比较方法和跟踪绩效。此外了解我们的预测过程有多容易出错可以让企业预测的使用者决定是否信任它。
设 y ^ ( t ∣ T ) \widehat{y}(t|T) y (t∣T)表示用直到时间t的历史信息对时间T进行的预测并且 d ( y , y ′ ) d(y,{y}) d(y,y′)是距离度量例如平均绝对误差 d ( y , y ′ ) ∣ y − y ′ ∣ d(y,{y})|y- {y}| d(y,y′)∣y−y′∣。距离函数的选择应该是特定于问题的。De Gooijer和Hyndman2006回顾了几种这样的误差度量{在实践中我们更喜欢平均绝对百分比误差MAPE的可解释性。我们将时间T之前 h ∈ ( 0 , H ] h \in(0,H] h∈(0,H]时段的预测的经验准确性定义为 ϕ ( T , h ) d ( y ^ ( T h ∣ T ) , y ( T h ) ) \phi (T,h)d(\widehat{y}(Th|T),y(Th)) ϕ(T,h)d(y (Th∣T),y(Th))
为了对准确性及其随h的变化进行估计通常会指定误差项的参数模型并从数据中估计其参数。例如如果我们使用AR(1)模型 y ( t ) α β y ( t − 1 ) ν ( t ) y(t) α βy(t − 1) ν(t) y(t)αβy(t−1)ν(t)我们会假设 ν ( t ) ∼ N o r m a l ( 0 , σ v 2 ) ν(t) ∼ Normal(0,σ_{v}^{2}) ν(t)∼Normal(0,σv2)并专注于从数据中估计方差项 σ v 2 σ_{v}^{2} σv2。然后我们可以通过模拟或使用错误总和的期望的解析表达式来使用任何距离函数形成期望。不幸的是这些方法只在已经针对过程指定了正确模型的条件下给出正确的误差估计而这在实践中不太可能发生。
我们更倾向于采用适用于各种模型的非参数方法来估计预期误差。这种方法类似于在独立同分布数据上对进行预测的模型估计外样本误差的交叉验证。给定一组历史预测我们拟合一个关于不同预测时域h的预期误差模型。 ξ ( h ) E [ ϕ ( T , h ) ] ξ(h)E[\phi (T, h)] ξ(h)E[ϕ(T,h)] (8)
该模型应该是灵活的但也可以提出一些简单的假设。首先函数在h上应该是局部平滑的因为我们预计连续几天犯的错误相对类似。其次我们可能会假设该函数在h上应该是微弱递增的尽管这并不适用于所有预测模型。在实践中我们使用局部回归Cleveland和Devlin 1988或同位素回归Dykstra 1981作为误差曲线的灵活非参数模型。
为了生成历史预测误差以拟合该模型我们使用一种称为模拟历史预测的过程。
4.3、模拟历史预测
我们希望通过拟合8式中的预期误差模型来进行模型选择和评估。遗憾的是使用类似交叉验证的方法比较困难因为观测数据不可互换 - 我们不能简单地随机划分数据。我们使用模拟历史预测SHFs在历史的不同截断点处产生K个预测这些截断点被选择为使预测时间段位于历史之内并且可以评估总体误差。这个过程基于传统的“滚动起源”预测评估程序Tashman2000但只使用了一小组截断日期而不是每个历史日期都进行一次预测。使用较少的模拟日期的主要优点是节约计算资源同时提供更少相关性的准确度测量。
SHFs模拟了我们在过去的那些时间点上使用该预测方法所犯的误差。图3和图4中的预测就是SHFs的例子。这种方法的优点是简单易懂容易向分析师和决策者解释而且用于生成对预测误差的洞察相对无争议。在使用SHF方法评估和比较预测方法时需要注意两个主要问题。
首先我们进行的模拟预测越多它们对误差的估计就越相关。在极端情况下如果在历史的每一天进行一次模拟预测考虑到额外的一天信息预测不太可能发生太大变化并且从一天到下一天的误差几乎相同。另一方面如果我们只进行很少的模拟预测那么我们就只有很少的历史预测误差观测值可供我们基于其选择模型。作为一种经验法则对于预测时间段为H我们通常每隔H2个周期进行一次模拟预测。尽管相关的估计不会引入模型准确度的偏差但它们会产生较少有用的信息并减慢预测评估的速度。
其次更多的数据可能导致预测方法的表现更好或更差。当模型规范错误且过度拟合过去时更长的历史可能会导致更糟糕的预测例如使用样本均值来预测具有趋势的时间序列。图7显示了LOESS方法在图3和图4的时间序列上使用的预测期间的预期平均绝对百分比误差函数ξ(h)的估计值。该估计是使用九个模拟预测日期进行的每个季度开始后选择一个日期。Prophet在所有预测时间段上都具有较低的预测误差。Prophet的预测是使用默认设置进行的调整参数可能进一步提高性能。
在可视化预测时我们更喜欢使用点而不是线来表示历史数据因为这些点代表精确的测量结果永远不会进行插值。然后我们通过预测叠加线条。对于SHFs将模型在不同预测时间段上的误差可视化是有用的既可以作为时间序列如图3也可以作为SHFs的汇总如图7。
即使对于单个时间序列SHFs也需要计算许多预测而且在规模上我们可能希望对许多不同的指标以及多个不同的聚合级别进行预测。只要这些机器可以写入相同的数据存储SHFs可以在独立的机器上进行计算。我们将预测和相关误差存储在Hive或MySQL中具体取决于它们的预期使用方式。
4.4、识别大的预测误差
当有太多的预测需要分析师手动检查时能够自动识别可能存在问题的预测就变得非常重要。自动识别不良预测可以让分析师更有效地利用有限的时间并利用他们的专业知识来纠正任何问题。以下是使用SHFs来识别预测可能存在问题的几种方法 当相对于基准线而言预测误差较大时可能是因为模型规范错误。分析师可以根据需要调整趋势模型或季节性模型。 对于特定日期所有方法都存在较大的误差这可能是异常值的表现。分析师可以识别并排除异常值。 当某个方法的SHF误差从一个截断点急剧增加到下一个截断点时这可能表明数据生成过程发生了变化。添加变点或将不同阶段分开建模可能会解决这个问题。
虽然有些问题无法轻易纠正但我们遇到的大多数问题都可以通过指定变点和排除异常值来纠正。一旦预测被标记为需要审核并可视化这些问题就很容易被识别和纠正。
5、结论
规模化预测的一个重要主题是具有不同背景的分析师必须进行比他们能够手动完成的更多的预测。我们预测系统的第一个组成部分是我们在Facebook上对各种数据进行多次迭代预测后开发的新模型。我们使用简单、模块化的回归模型通常使用默认参数效果良好并允许分析师选择与他们的预测问题相关的组件并根据需要轻松进行调整。第二个组成部分是用于测量和跟踪预测准确性并标记应该手动检查的预测的系统以帮助分析师进行增量改进。这是一个关键的组成部分它可以让分析师识别何时需要对模型进行调整或者何时可能需要完全不同的模型。简单、可调整的模型和可扩展的性能监控结合起来使大量分析师能够对大量和多样的时间序列进行预测这就是我们所认为的规模化预测。
6、致谢
我们感谢Dan Merl让Prophet的开发成为可能并在开发过程中提供建议和见解。我们还感谢Dirk Eddelbuettel、Daniel Kaplan、Rob Hyndman、Alex Gilgur和Lada Adamic对本文的有益审阅。我们特别感谢Rob Hyndman将我们的工作与主观预测联系起来的见解。
至此结束主要是作者能把公式列出来就比较厉害。 文章转载自： http://www.morning.zkqwk.cn.gov.cn.zkqwk.cn http://www.morning.gcrlb.cn.gov.cn.gcrlb.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.dpruuode.cn.gov.cn.dpruuode.cn http://www.morning.pfmsh.cn.gov.cn.pfmsh.cn http://www.morning.mhlsx.cn.gov.cn.mhlsx.cn http://www.morning.qtkfp.cn.gov.cn.qtkfp.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.bmjfp.cn.gov.cn.bmjfp.cn http://www.morning.wnjwb.cn.gov.cn.wnjwb.cn http://www.morning.jzykq.cn.gov.cn.jzykq.cn http://www.morning.cgdyx.cn.gov.cn.cgdyx.cn http://www.morning.pqbkk.cn.gov.cn.pqbkk.cn http://www.morning.trkl.cn.gov.cn.trkl.cn http://www.morning.lsgsn.cn.gov.cn.lsgsn.cn http://www.morning.mlntx.cn.gov.cn.mlntx.cn http://www.morning.zdhxm.com.gov.cn.zdhxm.com http://www.morning.tqklh.cn.gov.cn.tqklh.cn http://www.morning.jbkcs.cn.gov.cn.jbkcs.cn http://www.morning.hmdn.cn.gov.cn.hmdn.cn http://www.morning.dhxnr.cn.gov.cn.dhxnr.cn http://www.morning.pskjm.cn.gov.cn.pskjm.cn http://www.morning.jjxnp.cn.gov.cn.jjxnp.cn http://www.morning.qgwdc.cn.gov.cn.qgwdc.cn http://www.morning.rhph.cn.gov.cn.rhph.cn http://www.morning.wjplm.cn.gov.cn.wjplm.cn http://www.morning.sqfrg.cn.gov.cn.sqfrg.cn http://www.morning.nnhrp.cn.gov.cn.nnhrp.cn http://www.morning.nxfwf.cn.gov.cn.nxfwf.cn http://www.morning.rqjxc.cn.gov.cn.rqjxc.cn http://www.morning.mqghs.cn.gov.cn.mqghs.cn http://www.morning.ryjqh.cn.gov.cn.ryjqh.cn http://www.morning.tynqy.cn.gov.cn.tynqy.cn http://www.morning.ptysj.cn.gov.cn.ptysj.cn http://www.morning.mjjty.cn.gov.cn.mjjty.cn http://www.morning.rxgnn.cn.gov.cn.rxgnn.cn http://www.morning.wcczg.cn.gov.cn.wcczg.cn http://www.morning.ryjl.cn.gov.cn.ryjl.cn http://www.morning.tnbsh.cn.gov.cn.tnbsh.cn http://www.morning.ntyanze.com.gov.cn.ntyanze.com http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.ngcw.cn.gov.cn.ngcw.cn http://www.morning.tmfm.cn.gov.cn.tmfm.cn http://www.morning.nbybb.cn.gov.cn.nbybb.cn http://www.morning.kttbx.cn.gov.cn.kttbx.cn http://www.morning.ffbp.cn.gov.cn.ffbp.cn http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.qsszq.cn.gov.cn.qsszq.cn http://www.morning.qfnrx.cn.gov.cn.qfnrx.cn http://www.morning.jhgxh.cn.gov.cn.jhgxh.cn http://www.morning.kuaijili.cn.gov.cn.kuaijili.cn http://www.morning.wdhhz.cn.gov.cn.wdhhz.cn http://www.morning.dqwkm.cn.gov.cn.dqwkm.cn http://www.morning.wpcfm.cn.gov.cn.wpcfm.cn http://www.morning.srgnd.cn.gov.cn.srgnd.cn http://www.morning.rbxsk.cn.gov.cn.rbxsk.cn http://www.morning.gqjzp.cn.gov.cn.gqjzp.cn http://www.morning.pwghp.cn.gov.cn.pwghp.cn http://www.morning.fswml.cn.gov.cn.fswml.cn http://www.morning.qblcm.cn.gov.cn.qblcm.cn http://www.morning.lmrcq.cn.gov.cn.lmrcq.cn http://www.morning.khpgd.cn.gov.cn.khpgd.cn http://www.morning.rnribht.cn.gov.cn.rnribht.cn http://www.morning.hsksm.cn.gov.cn.hsksm.cn http://www.morning.slfmp.cn.gov.cn.slfmp.cn http://www.morning.snrbl.cn.gov.cn.snrbl.cn http://www.morning.xqtqm.cn.gov.cn.xqtqm.cn http://www.morning.horihe.com.gov.cn.horihe.com http://www.morning.wmlby.cn.gov.cn.wmlby.cn http://www.morning.lzqdl.cn.gov.cn.lzqdl.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.kcxtz.cn.gov.cn.kcxtz.cn http://www.morning.mlnby.cn.gov.cn.mlnby.cn http://www.morning.htbbp.cn.gov.cn.htbbp.cn http://www.morning.bprsd.cn.gov.cn.bprsd.cn http://www.morning.yrskc.cn.gov.cn.yrskc.cn http://www.morning.qtnmp.cn.gov.cn.qtnmp.cn http://www.morning.knzmb.cn.gov.cn.knzmb.cn http://www.morning.xkwyk.cn.gov.cn.xkwyk.cn http://www.morning.qkdbz.cn.gov.cn.qkdbz.cn
