大多数数据科学家可能会赞扬pandas进行数据准备的能力,但许多人可能无法利用所有这些能力。操作数据帧可能很快会成为一项复杂的任务,因此在pandas中的八种技术中均提供了说明,可视化,代码和技巧来记住如何做。
pandas提供了各种各样的dataframe操作,但是其中许多操作很复杂,而且似乎不太平易近人。本文介绍了8种基本的dataframe操作方法,它们涵盖了数据科学家需要知道的几乎所有操作功能。每种方法都将包括说明,可视化,代码以及记住它的技巧。
pivot
透视表将创建一个新的“透视表”,该透视表将数据中的现有列投影为新表的元素,包括索引,列和值。初始dataframe中将成为索引的列,并且这些列显示为唯一值,而这两列的组合将显示为值。这意味着pivot无法处理重复的值。
旋转名为df 的dataframe的代码 如下:
记住:pivot——是在数据处理领域之外——围绕某种对象的转向。在体育运动中,人们可以绕着脚“旋转”旋转:大熊猫的旋转类似于。原始dataframe的状态围绕dataframe的中心元素旋转到一个新元素。有些元素实际上是在旋转或变换的(例如,列“ bar ”),因此很重要。
melt
melt可以被认为是“不可透视的”,因为它将基于矩阵的数据(具有二维)转换为基于列表的数据(列表示值,行表示唯一的数据点),而枢轴则相反。考虑一个二维矩阵,其一维为“ b ”和“ c ”(列名),另一维为“ a”,“ b ”和“ c ”(行索引)。
我们选择一个id,一个维度和一个包含值的列/列。包含值的列将转换为两列:一列用于变量(值列的名称),另一列用于值(变量中包含的数字)。
结果是id列的值(a,b,c)和值列(b,c)及其对应值的每种组合,以列表格式组织。
可以像在dataframe df上一样执行mels操作 :
记住:像蜡烛一样融化(melt)就是将凝固的复合物体变成几个更小的单个元素(蜡滴)。融合二维dataframe可以解压缩其固化的结构并将其片段记录为列表中的各个条目。
explode
是一种摆脱数据列表的有用方法。当一列爆炸时,其中的所有列表将作为新行列在同一索引下(为防止发生这种情况, 此后只需调用 .reset/_index()即可)。诸如字符串或数字之类的非列表项不受影响,空列表是nan值(您可以使用.dropna()清除它们 )。
在dataframe df中explode列“ a ” 非常简单:
要记住:explode某物会释放其所有内部内容-explode列表会分隔其元素。
stack
堆叠采用任意大小的dataframe,并将列“堆叠”为现有索引的子索引。因此,所得的dataframe仅具有一列和两级索引。
堆叠名为df的表就像df.stack()一样简单 。
为了访问狗的身高值,只需两次调用基于索引的检索,例如 df.loc ['dog']。loc ['height']。
要记住:从外观上看,堆栈采用表的二维性并将列堆栈为多级索引。
unstack
取消堆叠将获取多索引dataframe并对其进行堆叠,将指定级别的索引转换为具有相应值的新dataframe的列。在表上调用堆栈后再调用堆栈不会更改该堆栈(原因是存在“ 0 ”)。
堆叠中的参数是其级别。在列表索引中,索引为-1将返回最后一个元素。这与水平相同。级别-1表示将取消堆叠最后一个索引级别(最右边的一个)。作为另一个示例,当级别设置为0(第一个索引级别)时,其中的值将成为列,而随后的索引级别(第二个索引级别)将成为转换后的dataframe的索引。
可以按照与堆叠相同的方式执行堆叠,但是要使用level参数: df.unstack(level = -1)。
merge
合并两个dataframe是在共享的“键”之间按列(水平)组合它们。此键允许将表合并,即使它们的排序方式不一样。完成的合并dataframe 默认情况下会将后缀/_x 和 /_y添加 到value列。
为了合并两个dataframe df1 和 df2 (其中 df1 包含 leftkey, 而 df2 包含 rightkey),请调用:
合并不是pandas的功能,而是附加到dataframe。始终假定合并所在的dataframe是“左表”,在函数中作为参数调用的dataframe是“右表”,并带有相应的键。
默认情况下,合并功能执行内部联接:如果每个dataframe的键名均未列在另一个键中,则该键不包含在合并的dataframe中。另一方面,如果一个键在同一dataframe中列出两次,则在合并表中将列出同一键的每个值组合。例如,如果 df1 具有3个键foo 值, 而 df2 具有2个相同键的值,则 在最终dataframe中将有6个条目,其中 leftkey = foo 和 rightkey = foo。
记住:合并数据帧就像在水平行驶时合并车道一样。想象一下,每一列都是高速公路上的一条车道。为了合并,它们必须水平合并。
join
通常,联接比合并更可取,因为它具有更简洁的语法,并且在水平连接两个dataframe时具有更大的可能性。连接的语法如下:
使用联接时,公共键列(类似于 合并中的right/_on 和 left/_on)必须命名为相同的名称。how参数是一个字符串,它表示四种连接 方法之一, 可以合并两个dataframe:
' left ':包括df1的所有元素, 仅当其键为df1的键时才 包含df2的元素 。否则,df2的合并dataframe的丢失部分 将被标记为nan。
' right ':' left ',但在另一个dataframe上。包括df2的所有元素, 仅当其键是df2的键时才 包含df1的元素 。
“outer”:包括来自dataframes所有元素,即使密钥不存在于其他的-缺少的元素被标记为nan的。
“inner”:仅包含元件的键是存在于两个数据帧键(交集)。默认合并。
记住:如果您使用过sql,则单词“ join”应立即与按列添加相联系。如果不是,则“ join”和“ merge”在定义方面具有非常相似的含义。
concat
合并和连接是水平工作,串联或简称为concat,而dataframe是按行(垂直)连接的。例如,考虑使用pandas.concat([df1,df2])串联的具有相同列名的 两个dataframe df1 和 df2 :
尽管可以通过将axis参数设置为1来使用concat进行列式联接,但是使用联接 会更容易。
请注意,concat是pandas函数,而不是dataframe之一。因此,它接受要连接的dataframe列表。
如果一个dataframe的另一列未包含,默认情况下将包含该列,缺失值列为nan。为了防止这种情况,请添加一个附加参数join ='inner',该参数 只会串联两个dataframe共有的列。
切记:在列表和字符串中,可以串联其他项。串联是将附加元素附加到现有主体上,而不是添加新信息(就像逐列联接一样)。由于每个索引/行都是一个单独的项目,因此串联将其他项目添加到dataframe中,这可以看作是行的列表。
append是组合两个dataframe的另一种方法,但它执行的功能与concat相同,效率较低且用途广泛。
-
色环电阻数值读取方法
苹果watchOS 7.2正式版发布
预计到2021年,全球晶圆厂设备支出将创新高
HCL气体传感器在生活中有哪些应用
揭开人脸识别背后的奥秘,它都有哪些应用领域
干货:直观地解释和可视化每个复杂的 DataFrame 操作
怎样创建树莓派上的Web应用程序 并使用Flask Web Framework控制伺服电机
解决电子设备功耗?安富利有话说
12V LED与分布式恒流技术
瞬态抑制二极管为什么会有残压?是怎么产生的?
R8000C台式无线电综测仪的性能特点及应用
PLC工厂流水线的实现过程示意图
人工智能令人不安的能力:预测一个人的早逝
湖北首秀第三代国产骨科手术机器人 解决了骨科手术的三大难题
诺基亚人事大调整 成立客户体验部门
电磁流量计在并联管道流量测量中的应用
APE:对CLIP进行特征提纯能够提升Few-shot性能
什么是动力电池?它与普通电池的区别
印度招商局高层密访深圳龙华,鸿海富士康印度设厂不远了
小米6/荣耀9/一加5三款新机评测对比,你买哪一款?