分享10个Pandas在实际应用中肯定会用到的技巧
pandas是数据科学家必备的数据处理库，我们今天总结了10个在实际应用中肯定会用到的技巧。
1、select from table where f1=’a’ and f2=’b’
使用and或or选择子集：
dfb = df.loc[(df.week == week) & (df.day == day)]or的话是这样 dfb = df.loc[(df.week == week)|(df.day == day)] 2、select where in
从一个df中选择一个包含在另外一个df的数据，例如下面的sql
select * from table1 where field1 in (select field1 from table2)
我们有一个名为“days”的df，它包含以下值。
如果有第二个df:
可以直接用下面的方式获取
days = [0,1,2] df[df(days)]
3、select where not in
就像in一样，我们肯定也要选择not in，这个可能是更加常用的一个需求，但是却很少有文章提到，还是使用上面的数据：
days = [0,1,2] df[~df(days)]
使用~操作符就可以了
4、select sum(*) from table group by
分组统计和求和也是常见的操作，但是使用起来并不简单：
df(by=['repid','week','callcycleday']).sum()
如果想保存结果或稍后使用它们并引用这些字段，请添加 as_index=false
df.groupby(by=['repid','week','callcycleday'], as_index=false).sum()
使用as_index= false，可以表的形式保存列
5、从一个表更另外一个表的字段
我们从一个df中更改了一些值，现在想要更新另外一个df，这个操作就很有用。
dfb = dfa[dfa.field1='somevalue'].copy() dfb['field2'] = 'somevalue' dfa.update(dfb)
这里的更新是通过索引匹配的。
6、使用apply/lambda创建新字段
我们创建了一个名为address的新字段，它是几个字段进行拼接的。
dfa['address'] = dfa.apply(lambda row: row['streetname'] + ', ' + row['suburb'] + ', ' + str(row['postalcode']),axis=1) 7、插入新行
插入新数据的最佳方法是使用concat。我们可以用有pd. datafframe .from_records一将新行转换为df。
newrow = row.copy() newrow.customerid = str(newrow.customerid)+'-'+str(x) newrow.duplicate = true df = pd.concat([df,pd.dataframe.from_records([newrow])])
8、更改列的类型
可以使用astype函数将其快速更改列的数据类型
df = pd.read_excel(customers_.xlsx') df['longitude'] = df['longitude'].astype(str) df['latitude'] = df['longitude'].astype(str) 9、删除列
使用drop可以删除列：
def cleancolumns(df): for col in df.columns: if col[0:7] == unnamed: df.drop(col, inplace=true, axis=1) return df
10、地图上标注点
这个可能是最没用的技巧，但是他很好玩
这里我们有一些经纬度的数据：
现在我们把它根据经纬度在地图上进行标注：
df_clustercentroids = pd.read_csv(centroidfile) lst_elements = sorted(list(dfm.cluster2.unique())) lst_colors = ['#%06x' % np.random.randint(0, 0xffffff) for i in range(len(lst_elements))] dfm[color] = dfm[cluster2] dfm[color] = dfm[color].apply(lambda x:lst_colors[lst_elements.index(x)]) m = folium.map(location=[dfm.iloc[0].latitude,dfm.iloc[0].longitude], zoom_start = 9) for index, row in dfm.iterrows(): folium.circlemarker(location=[float(row['latitude']), float(row['longitude'])],radius=4,popup=str(row['repid']) + '|' +str(row.customerid),color=row['color'],fill=true,fill_color=row['color'] ).add_to(m) for index, row in df_clustercentroids.iterrows(): folium.marker(location=[float(row['latitude']), float(row['longitude'])],popup=str(index) + '|#=' + str(dfm.loc[dfm.cluster2==index].groupby(['cluster2'])['customerid'].count().iloc[0]),icon=folium.icon(color='black',icon_color=lst_colors[index]),tooltip=str(index) + '|#=' + str(dfm.loc[dfm.cluster2==index].groupby(['cluster2'])['customerid'].count().iloc[0])).add_to(m) m
结果如下：
Semtech的LoRa®器件用于监测超级马拉松参赛者的安全
系统级芯片设计中的多领域集成策略
科大讯飞准备优化30%的正式员工
今天程序员节长沙出招 全国首个！长沙为程序员打造“1024街”
工业机器人直线和旋转传动机构的区别
分享10个Pandas在实际应用中肯定会用到的技巧
小型心形流水灯电路图大全（89c52/CD4017心形流水灯电路图）
10G EPON需求减弱的几个原因
PCB制作工艺过程
自镇流LED灯主要性能指标及国内外标准要求
关于TDS2000C 示波器的优势特点你不知道的都在这
搬新家的话你需要了解这些无线安防设备
美国公司再次作妖,337调查案件两家中国企业“躺枪”
一氧化碳检测仪报警器使用注意事项
Parasoft被评为持续自动化测试平台的领导者
同惠电子TH901测试变压器高低压综合参数
可控硅模块的作用与优点分类
自动激光焊接机替代传统焊接机的优势有哪些？
服务器数据恢复-EMC存储raid5热备盘未激活的数据恢复案例
荣耀5X： 讲不出再见！
1、select from table where f1=’a’ and f2=’b’
使用and或or选择子集：
dfb = df.loc[(df.week == week) & (df.day == day)]or的话是这样 dfb = df.loc[(df.week == week)|(df.day == day)] 2、select where in
从一个df中选择一个包含在另外一个df的数据，例如下面的sql
select * from table1 where field1 in (select field1 from table2)
我们有一个名为“days”的df，它包含以下值。
如果有第二个df:
可以直接用下面的方式获取
days = [0,1,2] df[df(days)]
3、select where not in
就像in一样，我们肯定也要选择not in，这个可能是更加常用的一个需求，但是却很少有文章提到，还是使用上面的数据：
days = [0,1,2] df[~df(days)]
使用~操作符就可以了
4、select sum(*) from table group by
分组统计和求和也是常见的操作，但是使用起来并不简单：
df(by=['repid','week','callcycleday']).sum()
如果想保存结果或稍后使用它们并引用这些字段，请添加 as_index=false
df.groupby(by=['repid','week','callcycleday'], as_index=false).sum()
使用as_index= false，可以表的形式保存列
5、从一个表更另外一个表的字段
我们从一个df中更改了一些值，现在想要更新另外一个df，这个操作就很有用。
dfb = dfa[dfa.field1='somevalue'].copy() dfb['field2'] = 'somevalue' dfa.update(dfb)
这里的更新是通过索引匹配的。
6、使用apply/lambda创建新字段
我们创建了一个名为address的新字段，它是几个字段进行拼接的。
dfa['address'] = dfa.apply(lambda row: row['streetname'] + ', ' + row['suburb'] + ', ' + str(row['postalcode']),axis=1) 7、插入新行
插入新数据的最佳方法是使用concat。我们可以用有pd. datafframe .from_records一将新行转换为df。
newrow = row.copy() newrow.customerid = str(newrow.customerid)+'-'+str(x) newrow.duplicate = true df = pd.concat([df,pd.dataframe.from_records([newrow])])
8、更改列的类型
可以使用astype函数将其快速更改列的数据类型
df = pd.read_excel(customers_.xlsx') df['longitude'] = df['longitude'].astype(str) df['latitude'] = df['longitude'].astype(str) 9、删除列
使用drop可以删除列：
def cleancolumns(df): for col in df.columns: if col[0:7] == unnamed: df.drop(col, inplace=true, axis=1) return df
10、地图上标注点
这个可能是最没用的技巧，但是他很好玩
这里我们有一些经纬度的数据：
现在我们把它根据经纬度在地图上进行标注：
df_clustercentroids = pd.read_csv(centroidfile) lst_elements = sorted(list(dfm.cluster2.unique())) lst_colors = ['#%06x' % np.random.randint(0, 0xffffff) for i in range(len(lst_elements))] dfm[color] = dfm[cluster2] dfm[color] = dfm[color].apply(lambda x:lst_colors[lst_elements.index(x)]) m = folium.map(location=[dfm.iloc[0].latitude,dfm.iloc[0].longitude], zoom_start = 9) for index, row in dfm.iterrows(): folium.circlemarker(location=[float(row['latitude']), float(row['longitude'])],radius=4,popup=str(row['repid']) + '|' +str(row.customerid),color=row['color'],fill=true,fill_color=row['color'] ).add_to(m) for index, row in df_clustercentroids.iterrows(): folium.marker(location=[float(row['latitude']), float(row['longitude'])],popup=str(index) + '|#=' + str(dfm.loc[dfm.cluster2==index].groupby(['cluster2'])['customerid'].count().iloc[0]),icon=folium.icon(color='black',icon_color=lst_colors[index]),tooltip=str(index) + '|#=' + str(dfm.loc[dfm.cluster2==index].groupby(['cluster2'])['customerid'].count().iloc[0])).add_to(m) m
结果如下：
Semtech的LoRa®器件用于监测超级马拉松参赛者的安全
系统级芯片设计中的多领域集成策略
科大讯飞准备优化30%的正式员工
今天程序员节长沙出招 全国首个！长沙为程序员打造“1024街”
工业机器人直线和旋转传动机构的区别
分享10个Pandas在实际应用中肯定会用到的技巧
小型心形流水灯电路图大全（89c52/CD4017心形流水灯电路图）
10G EPON需求减弱的几个原因
PCB制作工艺过程
自镇流LED灯主要性能指标及国内外标准要求
关于TDS2000C 示波器的优势特点你不知道的都在这
搬新家的话你需要了解这些无线安防设备
美国公司再次作妖,337调查案件两家中国企业“躺枪”
一氧化碳检测仪报警器使用注意事项
Parasoft被评为持续自动化测试平台的领导者
同惠电子TH901测试变压器高低压综合参数
可控硅模块的作用与优点分类
自动激光焊接机替代传统焊接机的优势有哪些？
服务器数据恢复-EMC存储raid5热备盘未激活的数据恢复案例
荣耀5X： 讲不出再见！