您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

时间序列的重采样和pandas的resample方法介绍

时间:2023-09-19 14:04:19  来源:微信公众号  作者:DeepHub IMBA

重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率,它可以更改数据的时间间隔,通过上采样增加粒度,或通过下采样减少粒度。在本文中,我们将深入研究Pandas中重新采样的关键问题。

为什么重采样很重要?

时间序列数据到达时通常带有可能与所需的分析间隔不匹配的时间戳。例如以不规则的间隔收集数据,但需要以一致的频率进行建模或分析。

重采样分类

重采样主要有两种类型:

1、Upsampling

上采样可以增加数据的频率或粒度。这意味着将数据转换成更小的时间间隔。

2、Downsampling

下采样包括减少数据的频率或粒度。将数据转换为更大的时间间隔。

重采样的应用

重采样的应用十分广泛:

在财务分析中,股票价格或其他财务指标可能以不规则的间隔记录。重新可以将这些数据与交易策略的时间框架(如每日或每周)保持一致。

物联网(IoT)设备通常以不同的频率生成数据。重新采样可以标准化分析数据,确保一致的时间间隔。

在创建时间序列可视化时,通常需要以不同的频率显示数据。重新采样够调整绘图中的细节水平。

许多机器学习模型都需要具有一致时间间隔的数据。在为模型训练准备时间序列数据时,重采样是必不可少的。

重采样过程

重采样过程通常包括以下步骤:

首先选择要重新采样的时间序列数据。该数据可以采用各种格式,包括数值、文本或分类数据。

确定您希望重新采样数据的频率。这可以是增加粒度(上采样)或减少粒度(下采样)。

选择重新采样方法。常用的方法包括平均、求和或使用插值技术来填补数据中的空白。

在上采样时,可能会遇到原始时间戳之间缺少数据点的情况。插值方法,如线性或三次样条插值,可以用来估计这些值。

对于下采样,通常会在每个目标区间内聚合数据点。常见的聚合函数包括sum、mean或median。

评估重采样的数据,以确保它符合分析目标。检查数据的一致性、完整性和准确性。

Pandas中的resample()方法

resample可以同时操作Pandas Series和DataFrame对象。它用于执行聚合、转换或时间序列数据的下采样和上采样等操作。

下面是resample()方法的基本用法和一些常见的参数:

 import pandas as pd
 
 # 创建一个示例时间序列数据框
 data = {'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
        'value': range(365)}
 df = pd.DataFrame(data)
 
 # 将日期列设置为索引
 df.set_index('date', inplace=True)
 
 # 使用resample()方法进行重新采样
 # 将每日数据转换为每月数据并计算每月的总和
 monthly_data = df['value'].resample('M').sum()
 
 # 将每月数据转换为每季度数据并计算每季度的平均值
 quarterly_data = monthly_data.resample('Q').mean()
 
 # 将每季度数据转换为每年数据并计算每年的最大值
 annual_data = quarterly_data.resample('Y').max()
 
 print(monthly_data)
 print(quarterly_data)
 print(annual_data)
 

在上述示例中,我们首先创建了一个示例的时间序列数据框,并使用resample()方法将其转换为不同的时间频率(每月、每季度、每年)并应用不同的聚合函数(总和、平均值、最大值)。

resample()方法的参数:

  • 第一个参数是时间频率字符串,用于指定重新采样的目标频率。常见的选项包括 'D'(每日)、'M'(每月)、'Q'(每季度)、'Y'(每年)等。

  • 你可以通过第二个参数how来指定聚合函数,例如 'sum''mean''max' 等,默认是 'mean'

  • 你还可以使用closed参数来指定每个区间的闭合端点,可选的值包括 'right''left''both''neither',默认是 'right'

  • 使用label参数来指定重新采样后的标签使用哪个时间戳,可选的值包括 'right''left''both''neither',默认是 'right'

  • 可以使用loffset参数来调整重新采样后的时间标签的偏移量。

  • 最后,你可以使用聚合函数的特定参数,例如'sum'函数的min_count参数来指定非NA值的最小数量。

1、指定列名

默认情况下,Pandas的resample()方法使用Dataframe或Series的索引,这些索引应该是时间类型。但是,如果希望基于特定列重新采样,则可以使用on参数。这允许您选择一个特定的列进行重新采样,即使它不是索引。

 df.reset_index(drop=False, inplace=True)
 df.resample('W', on='index')['C_0'].sum().head()

在这段代码中,使用resample()方法对'index'列执行每周重采样,计算每周'C_0'列的和。

2、指定开始和结束的时间间隔

closed参数允许重采样期间控制打开和关闭间隔。默认情况下,一些频率,如'M', 'A', 'Q', 'BM', 'BA', 'BQ'和'W'是右闭的,这意味着包括右边界,而其他频率是左闭的,其中包括左边界。在转换数据频率时,可以根据需要手动设置关闭间隔。

 df = generate_sample_data_datetime()
 pd.concat([df.resample('W', closed='left')['C_0'].sum().to_frame(name='left_closed'),
            df.resample('W', closed='right')['C_0'].sum().to_frame(name='right_closed')],
          axis=1).head(5)

在这段代码中,我们演示了将日频率转换为周频率时左闭间隔和右闭间隔的区别。

3、输出结果控制

label参数可以在重采样期间控制输出结果的标签。默认情况下,一些频率使用组内的右边界作为输出标签,而其他频率使用左边界。在转换数据频率时,可以指定是要使用左边界还是右边界作为输出标签。

 df = generate_sample_data_datetime()
 df.resample('W', label='left')['C_0'].sum().to_frame(name='left_boundary').head(5)
 df.resample('W', label='right')['C_0'].sum().to_frame(name='right_boundary').head(5)

在这段代码中,输出标签是根据在label参数中指定“left”还是“right”而变化的,建议在实际应用时显式指定,这样可以减少混淆。

4、汇总统计数据

重采样可以执行聚合统计,类似于使用groupby。使用sum、mean、min、max等聚合方法来汇总重新采样间隔内的数据。这些聚合方法类似于groupby操作可用的聚合方法。

 df.resample('D').sum()
 df.resample('W').mean()
 df.resample('M').min()
 df.resample('Q').max()
 df.resample('Y').count()
 df.resample('W').std()
 df.resample('M').var()
 df.resample('D').median()
 df.resample('M').quantile([0.25, 0.5, 0.75])
 custom_agg = lambda x: x.max() - x.min()
 df.resample('W').Apply(custom_agg)

上采样和填充

在时间序列数据分析中,上采样和下采样是用来操纵数据观测频率的技术。这些技术对于调整时间序列数据的粒度以匹配分析需求非常有价值。

我们先生成一些数据

 import pandas as pd
 import numpy as np
 
 
 def generate_sample_data_datetime():
    np.random.seed(123)
    number_of_rows = 365 * 2
    num_cols = 5
    start_date = '2023-09-15' # You can change the start date if needed
    cols = ["C_0", "C_1", "C_2", "C_3", "C_4"]
    df = pd.DataFrame(np.random.randint(1, 100, size=(number_of_rows, num_cols)), columns=cols)
    df.index = pd.date_range(start=start_date, periods=number_of_rows)
    return df
 
 df = generate_sample_data_datetime()

上采样包括增加数据的粒度,这意味着将数据从较低的频率转换为较高的频率。

假设您有上面生成的每日数据,并希望将其转换为12小时的频率,并在每个间隔内计算“C_0”的总和:

 df.resample('12H')['C_0'].sum().head(10)

代码将数据重采样为12小时的间隔,并在每个间隔内对' C_0 '应用总和聚合。这个.head(10)用于显示结果的前10行。

在上采样过程中,特别是从较低频率转换到较高频率时,由于新频率引入了间隙,会遇到丢失数据点的情况。所以需要对间隙的数据进行填充,填充一般使用以下几个方法:

向前填充-前一个可用的值填充缺失的值。可以使用limit参数限制正向填充的数量。

 df.resample('8H')['C_0'].ffill(limit=1)

反向填充 -用下一个可用的值填充缺失的值。

 df.resample('8H')['C_0'].bfill(limit=1)

最近填充 -用最近的可用值填充缺失的数据,该值可以是向前的,也可以是向后的。

 df.resample('8H')['C_0'].nearest(limit=1)

Fillna —结合了前面三个方法的功能。可以指定方法(例如,'pad'/' fill', 'bfill', 'nearest'),并使用limit参数进行数量控制。

 df.resample('8H')['C_0'].fillna(method='pad', limit=1)

Asfreq-指定一个固定的值来填充所有缺失的部分一次。例如,可以使用-999填充缺失的值。

 df.resample('8H')['C_0'].asfreq(-999)

插值方法-可以应用各种插值算法。

 df.resample('8H').interpolate(method='linear').applymap(lambda x: round(x, 2))

一些常用的函数

1、使用agg进行聚合

 result = df.resample('W').agg(
    {
        'C_0': ['sum', 'mean'],
        'C_1': lambda x: np.std(x, ddof=1)
    }
 ).head()

使用agg方法将每日时间序列数据重新采样到每周频率。并为不同的列指定不同的聚合函数。对于“C_0”,计算总和和平均值,而对于“C_1”,计算标准差。

2、使用 apply  聚合

 def custom_agg(x):
    agg_result = {
        'C_0_mean': round(x['C_0'].mean(), 2),
        'C_1_sum': x['C_1'].sum(),
        'C_2_max': x['C_2'].max(),
        'C_3_mean_plus1': round(x['C_3'].mean() + 1, 2)
    }
    return pd.Series(agg_result)
 
 result = df.resample('W').apply(custom_agg).head()

定义了一个名为custom_agg的自定义聚合函数,它将DataFrame x作为输入,并在不同列上计算各种聚合。使用apply方法将数据重新采样到每周的频率,并应用自定义聚合函数。

3、使用transform进行变换

 df['C_0_cumsum'] = df.resample('W')['C_0'].transform('cumsum')
 df['C_0_rank'] = df.resample('W')['C_0'].transform('rank')
 result = df.head(10)

使用transform 方法来计算每周组中'C_0'变量的累积和排名。DF的原始索引结构保持不变。

4、使用pipe 进行管道操作

 result = df.resample('W')['C_0', 'C_1'] 
    .pipe(lambda x: x.cumsum()) 
    .pipe(lambda x: x['C_1'] - x['C_0'])
 result = result.head(10)

使用管道方法对下采样的'C_0'和'C_1'变量进行链式操作。cumsum函数计算累积和,第二个管道操作计算每个组的'C_1'和'C_0'之间的差值。像管道一样执行顺序操作。

总结

时间序列的重采样是将时间序列数据从一个时间频率(例如每日)转换为另一个时间频率(例如每月或每年),并且通常伴随着对数据进行聚合操作。重采样是时间序列数据处理中的一个关键操作,通过进行重采样可以更好地理解数据的趋势和模式。

Python/ target=_blank class=infotextkey>Python中,可以使用Pandas库的resample()方法来执行时间序列的重采样。

 

作者:JIN



Tags:时间序列   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
面向时间序列数据的深度学习应用综述
时间序列数据是指按照时间顺序排列的数据集合,如股票价格、气象数据、交通流量等。深度学习作为一种强大的机器学习技术,已经在时间序列数据分析中取得了显著的成果。本文将对...【详细内容】
2023-11-27  Search: 时间序列  点击:(112)  评论:(0)  加入收藏
什么是时间序列异常检测
时间序列异常检测是指在时间序列数据中发现不符合预期模式的数据点或数据集合的方法,它广泛应用于金融、制造业、能源等领域中,可以帮助企业及早发现异常,并采取相应措施,从而提...【详细内容】
2023-09-22  Search: 时间序列  点击:(202)  评论:(0)  加入收藏
时间序列的重采样和pandas的resample方法介绍
重采样是时间序列分析中处理时序数据的一项基本技术。它是关于将时间序列数据从一个频率转换到另一个频率,它可以更改数据的时间间隔,通过上采样增加粒度,或通过下采样减少粒度...【详细内容】
2023-09-19  Search: 时间序列  点击:(254)  评论:(0)  加入收藏
七个最新的时间序列分析库介绍和代码示例
时间序列分析包括检查随着时间推移收集的数据点,目的是确定可以为未来预测提供信息的模式和趋势。我们已经介绍过很多个时间序列分析库了,但是随着时间推移,新的库和更新也在不...【详细内容】
2023-04-10  Search: 时间序列  点击:(277)  评论:(0)  加入收藏
从零开始学习系列之时间序列数据库
监控系统大家应该都用过,而监控里面记录的比较重要的数据就是某个时间点发生了什么,而用来存储这些数据的数据库,用专业术语讲就是时间序列数据库(Time Series Database,缩写简称...【详细内容】
2023-03-24  Search: 时间序列  点击:(119)  评论:(0)  加入收藏
如何将一个时间序列分解为周期序列和趋势序列的和?
时间序列分解是时序分析中的重要方法,广泛应用于时间序列预测,时间序列异常检测,时间序列聚类等场景,在工业界有很多的落地应用。一个时间序列往往是以下几类变化形式的叠加或耦...【详细内容】
2023-03-07  Search: 时间序列  点击:(195)  评论:(0)  加入收藏
Python中的时间序列数据操作总结
时间序列数据是一种在一段时间内收集的数据类型,它通常用于金融、经济学和气象学等领域,经常通过分析来了解随着时间的推移的趋势和模式Pandas是Python中一个强大且流行的数据...【详细内容】
2023-01-04  Search: 时间序列  点击:(308)  评论:(0)  加入收藏
时间序列数据库(TSDB)初识与选择
背景这两年互联网行业掀着一股新风,总是听着各种高大上的新名词。大数据、人工智能、物联网、机器学习、商业智能、智能预警啊等等。以前的系统,做数据可视化,信息管理,流程控制...【详细内容】
2020-11-25  Search: 时间序列  点击:(4168)  评论:(0)  加入收藏
Python中的时间序列数据可视化的完整指南
时间序列数据在许多不同的行业中都非常重要。它在研究、金融行业、制药、社交媒体、网络服务等领域尤为重要。对时间序列数据的分析也变得越来越重要。在分析中有什么比一...【详细内容】
2020-11-20  Search: 时间序列  点击:(253)  评论:(0)  加入收藏
使用卡尔曼滤波平滑时间序列,提高时序预测的准确率
在时间序列预测中,脏乱数据的存在会影响最终的预测结果。这是肯定的,尤其是在这个领域,因为时间依赖性在处理时间序列时起着至关重要的作用。噪音或异常值必须按照特别的解决...【详细内容】
2020-09-17  Search: 时间序列  点击:(409)  评论:(0)  加入收藏
▌简易百科推荐
即将过时的 5 种软件开发技能!
作者 | Eran Yahav编译 | 言征出品 | 51CTO技术栈(微信号:blog51cto) 时至今日,AI编码工具已经进化到足够强大了吗?这未必好回答,但从2023 年 Stack Overflow 上的调查数据来看,44%...【详细内容】
2024-04-03    51CTO  Tags:软件开发   点击:(5)  评论:(0)  加入收藏
跳转链接代码怎么写?
在网页开发中,跳转链接是一项常见的功能。然而,对于非技术人员来说,编写跳转链接代码可能会显得有些困难。不用担心!我们可以借助外链平台来简化操作,即使没有编程经验,也能轻松实...【详细内容】
2024-03-27  蓝色天纪    Tags:跳转链接   点击:(12)  评论:(0)  加入收藏
中台亡了,问题到底出在哪里?
曾几何时,中台一度被当做“变革灵药”,嫁接在“前台作战单元”和“后台资源部门”之间,实现企业各业务线的“打通”和全域业务能力集成,提高开发和服务效率。但在中台如火如荼之...【详细内容】
2024-03-27  dbaplus社群    Tags:中台   点击:(8)  评论:(0)  加入收藏
员工写了个比删库更可怕的Bug!
想必大家都听说过删库跑路吧,我之前一直把它当一个段子来看。可万万没想到,就在昨天,我们公司的某位员工,竟然写了一个比删库更可怕的 Bug!给大家分享一下(不是公开处刑),希望朋友们...【详细内容】
2024-03-26  dbaplus社群    Tags:Bug   点击:(5)  评论:(0)  加入收藏
我们一起聊聊什么是正向代理和反向代理
从字面意思上看,代理就是代替处理的意思,一个对象有能力代替另一个对象处理某一件事。代理,这个词在我们的日常生活中也不陌生,比如在购物、旅游等场景中,我们经常会委托别人代替...【详细内容】
2024-03-26  萤火架构  微信公众号  Tags:正向代理   点击:(10)  评论:(0)  加入收藏
看一遍就理解:IO模型详解
前言大家好,我是程序员田螺。今天我们一起来学习IO模型。在本文开始前呢,先问问大家几个问题哈~什么是IO呢?什么是阻塞非阻塞IO?什么是同步异步IO?什么是IO多路复用?select/epoll...【详细内容】
2024-03-26  捡田螺的小男孩  微信公众号  Tags:IO模型   点击:(8)  评论:(0)  加入收藏
为什么都说 HashMap 是线程不安全的?
做Java开发的人,应该都用过 HashMap 这种集合。今天就和大家来聊聊,为什么 HashMap 是线程不安全的。1.HashMap 数据结构简单来说,HashMap 基于哈希表实现。它使用键的哈希码来...【详细内容】
2024-03-22  Java技术指北  微信公众号  Tags:HashMap   点击:(11)  评论:(0)  加入收藏
如何从头开始编写LoRA代码,这有一份教程
选自 lightning.ai作者:Sebastian Raschka机器之心编译编辑:陈萍作者表示:在各种有效的 LLM 微调方法中,LoRA 仍然是他的首选。LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大...【详细内容】
2024-03-21  机器之心Pro    Tags:LoRA   点击:(12)  评论:(0)  加入收藏
这样搭建日志中心,传统的ELK就扔了吧!
最近客户有个新需求,就是想查看网站的访问情况。由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的...【详细内容】
2024-03-20  dbaplus社群    Tags:日志   点击:(4)  评论:(0)  加入收藏
Kubernetes 究竟有没有 LTS?
从一个有趣的问题引出很多人都在关注的 Kubernetes LTS 的问题。有趣的问题2019 年,一个名为 apiserver LoopbackClient Server cert expired after 1 year[1] 的 issue 中提...【详细内容】
2024-03-15  云原生散修  微信公众号  Tags:Kubernetes   点击:(6)  评论:(0)  加入收藏
站内最新
站内热门
站内头条