也許您可以將sparkwindow函數與row_count和后續過濾一起使用，如下所示： >>> df.show(truncate=False)+---+-----+ |key|value|+---+-----+|1 |Bob ||2 |Bob ||3 |Alice||4 |Alice||5 |Alice|+---+-----+>>> from pyspark.sql import Window>>> from pyspark.sql.functions import *>>> window = Window.orderBy("value").partitionBy("value") >>> df2 = df.withColumn("seq",row_number().over(window)) >>> df2.show(truncate=False)+---+-----+---+ |key|value|seq|+---+-----+---+|1 |Bob |1 ||2 |Bob |2 ||3 |Alice|1 ||4 |Alice|2 ||5 |Alice|3 |+---+-----+---+>>> N = 2>>> df3 = df2.

如果第二列后面有DataFrame.notna和DataFrame.any，則可以篩選至少一個非缺失值： df = df[df.iloc[:,2:].notna().any(axis=1)]print (df) id name val1_rain val2_tik val3_bon val4_tig0 2349 Rivi 0.11 0.34 0.78 0.212 835 Pigi 0.34 NaN 0.32 NaN3 5093 Tari 0.65 0.12 0.34 2.45

一種方法可以是： 首先，使用Series.isin只從df中選擇列Metric中有High和Low的行。 接下來，使用df.pivot重新塑造df和assign的新列Volume，其中包含列df中的值從列High中減去的結果（請參見：Series.sub）。 最后，我們添加了一些修飾性更改：我們drop列High和Low，重置索引（請參見：df.reset_index），并刪除df.columns.name（在df.pivot期間自動設置為Metric）。 import pandas as pdimport numpy as npdata = {'Date': {0: '2020-01-01', 1: '2020-01-01', 2: '2020-01-01', 3: '2020-01-02', 4: '2020-01-02', 5: '2020-01-02'}, 'Metric': {0: 'Low', 1: 'High', 2: 'Open', 3: 'Low', 4: 'High', 5: 'Open'}, 'Value': {0: 34.5, 1: 36.5, 2: 23.5, 3: 32.5, 4: 38.95, 5: 32.5}}df = pd.DataFrame(data)res = df[df.Metric.isin(['Low','High'])].pivot(i

# Convert the whole column to datetime [If necessary]# df.date = pd.to_datetime(df.date)# Get max datemax_date = df.date.max().date()# Here I use '1d' (1 day) for an interesting result.# You'll use '14d' instead.mask = df.date.dt.date.between(max_date - pd.to_timedelta('1d'), max_date)f_df = df.loc[mask]print(f_df)# Output: date4 2022-09-09 09:00:00-05:005 2022-09-09 12:00:00-05:006 2022-09-09 15:00:00-05:007 2022-09-09 18:00:00-05:008 2022-09-10 09:00:00-05:009 2022-09-10 12:00:00-05:0010 2022-09-10 15:00:00-05:00 TLDR; 如果您想使用當前格式，則兩次執行data_df['date']時應改為data_df['date'].dt.date。

一種方法是用vector減去數據幀，意思是用vector[1]減去第1列，用vector[2]減去第2列，以此類推，取絕對值，按行求差和，然后選擇值最小的行。 df[which.min(rowSums(abs(sweep(df, 2, vector, `-`)))), ]

如果需要只刪除第一個最低值第一個排序值并使用DataFrame.duplicated中的boolean indexing： df = df.sort_values('Unit')m1 = df.duplicated(['Name','Code','State'])m2 = df.duplicated(['Name','Code','State'], keep=False)df = df[m1 | ~m2]print (df) Name Code State Unit0 John 2 AZ 32 Mike 3 UT 43 Jack 4 KY 64 Jack 5 KY 6 如果需要刪除所有最低值，可以比較第一個掩碼的每組最小值： print (df) Name Code State Unit0 John 2 AZ 31 Mike 3 UT 32 Mike 3 UT 33 Mike 3 UT 44 Jack 4 KY 65 Jack 5 KY 6m1 = df.groupby(['Name','Code','State'])['Unit'].transform('min').eq(df['Unit'])m2 = df.duplicated(['Name','Code','State'], keep=False)df = df[~m1 | ~m2]print (df) Name Code

在列表理解中使用set.intersection，在if-else中使用if-else，因為在boolean indexing中混合了列表和scalars用于測試和篩選： df = pd.DataFrame({"tags": ["A",["A"],[],"",["A","B"],"C",["C"],"B"]})f = ["A","C"]s = set(f)df = df[[bool(s.intersection(x if isinstance(x, list) else [x])) for x in df["tags"]]]print (df) tags0 A1 [A]4 [A, B]5 C6 [C]

嘗試按“值”排序，并保留每個國家的最后一行 >>> df.sort_values("Value").drop_duplicates("country",keep="last") Year country Value2 2003 USA 70006 2002 India 900010 2001 Japan 10000 或者，您可以使用groupby： >>> df[df["Value"].eq(df.groupby("country")["Value"].transform('max'))] Year country Value2 2003 USA 70006 2002 India 900010 2001 Japan 10000

您可以使用loc： df = pd.DataFrame(np.array(([1,2,3], [1,2,3], [1,2,3], [4,5,6])), columns=['one','two','three'])small=df.loc[df.one==1, ["one", "two"]]# > one two# 0 1 2# 1 1 2# 2 1 2 loc的第一個元素是想要的行；二是通緝縱隊。如本文所示，它允許掩蔽和索引。

您可以pivot并重新編寫多索引： df2 = (df.pivot_table(index=['day', 'type'], columns='store', values=['sales', 'orders'], fill_value=0) .sort_index(axis=1, level=1) )df2.columns = df2.columns.map('_'.join)df2.reset_index() output: day type orders_amazon sales_amazon orders_apple sales_apple orders_facebook sales_facebook orders_uber sales_uber0 2021-08-01 retail 0 0 0 0 0 0 1 601 2021-08-01 web 0 0 0 0 0 0 1 502 2021-09-01 web 0 0 1 5 0 0 0 03 2021-09-05 retail 0 0 0 0 50 10 0 04 2021-10-10 retail 50 500 0 0 50 300 0 05 2021-10-10 web 1 10 0 0 0 0 0 0

將條件拆分為兩個條件，在indi列中重復值，值為'tot_num_cases' df = df[~(df.duplicated(subset='indi', keep='last') & df['indi'].eq('tot_num_cases'))]print(df) Output period indi value0 2021-01-01 pop 100001 2021-02-01 vacced 2003 2021-03-01 tot_num_cases 89994 2021-04-01 pop 270005 2021-04-01 pop 27000

使用ave將"Sequ"替換為第一個相應的Q，最后是subset。 df[!is.na(df$Sequ), ] |> transform(Q=ave(Q, Sequ, FUN=\(x) x[1])) |> subset(!is.na(Sequ) & Q == 'q_wh')# Line Speaker Utterance Sequ Q# 2 2 ID01.A Who did it? 1 q_wh# 3 3 <NA> (1.99) 1 q_wh# 4 4 ID01.B Peter did. 1 q_wh# 11 11 ID77.A Good night? 3 q_wh# 12 12 ID77.C Yeah, sleep well 3 q_wh Note: R version 4.1.2 (2021-11-01). 或者使用蒂迪維爾方言。 library(magrittr)df[!is.na(df$Sequ), ] %>% dplyr::mutate(Q=ave(Q, Sequ, FUN=\(x) x[1])) %>% dplyr::filter(!is.na(Sequ) & Q == 'q_wh')# Line Speaker Utterance Sequ Q# 1 2 ID01.A Who did it? 1 q_wh# 2 3

您可以使用以下幾種方法： Using groupby with filter and all: df.groupby('Customer').filter(lambda x: (x['Product'] != 2).all()) 將groupby與transform和all一起使用布爾索引： df[df.groupby('Customer')['Product'].transform(lambda x: (x != 2).all())] Output: Customer Product PO0 Cust 1 1 P11 Cust 1 1 P23 Cust 1 1 P4

您鏈接的答案設計為使用一對Start/End。 它的一個更通用的變體是檢查組的奇偶性（假設嚴格交替Start/End）： m1 = df['Col1'].str.match(r'Start|End').cumsum().mod(2).eq(1)# boolean indexingout = df[m1|m1.shift()] 或者，使用每個Start作為標記保留以下行，使用每個End作為標記刪除它們。然而，這不會像@Quang的漂亮回答那樣考慮開始/結束后的A/B/C字母： # extract Start/Ends = df['Col1'].str.extract(r'^(Start|End)', expand=False)# set flags and ffillm1 = s.replace({'Start': True, 'End': False}).ffill()# boolean slicingout = df[m1|m1.shift()] Output: Col1 Col20 Start A 11 value 1 22 value 2 33 value 3 44 value 5 55 End A 69 Start B 110 value 1 211 value 2 312 value 3 413 value 5 514 End B 618 Start C 119 valu

問題是在兩個數據幀中有不同的索引。 如果篩選的行數與df2中的行數相同，則可能的解決方案： print (((df1.unit_name=='a') & (df1.is_required=='Yes')).sum(), len(df2.index)) 然后是可能的用途： df1.loc[(df1.unit_name=='a') & (df1.is_required=='Yes'),'value'] = df2['value'].to_numpy()