Cumsum 重置为 NaN

问题描述：

如果我有一个由 1 或 NaN 组成的pandas.core.series.Series名称，如下所示：ts

3382   NaN
3381   NaN
...
3369   NaN
3368   NaN
...
15     1
10   NaN
11     1
12     1
13     1
9    NaN
8    NaN
7    NaN
6    NaN
3    NaN
4      1
5      1
2    NaN
1    NaN
0    NaN

我想计算这个系列的累计总和，但它应该在 NaN 的位置重置（设置为零），如下所示：

3382   0
3381   0
...
3369   0
3368   0
...
15     1
10     0
11     1
12     2
13     3
9      0
8      0
7      0
6      0
3      0
4      1
5      2
2      0
1      0
0      0

理想情况下，我希望有一个矢量化的解决方案！

我曾在 Matlab 中看到过类似的问题：
Matlab cumsum 在 NaN 处重置？

但我不知道该如何翻译这句话d = diff([0 c(n)]);

解决方案 1：

甚至还有更多 pandas-onic 方法来做到这一点：

v = pd.Series([1., 3., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
cumsum = v.cumsum().ffill()
reset = -cumsum[v.isna()].diff().fillna(cumsum)
result = v.where(v.notna(), reset).cumsum()

与 matlab 代码相反，这也适用于不同于 1 的值。

解决方案 2：

Matlab 代码的简单 Numpy 翻译如下：

import numpy as np

v = np.array([1., 1., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
n = np.isnan(v)
a = ~n
c = np.cumsum(a)
d = np.diff(np.concatenate(([0.], c[n])))
v[n] = -d
np.cumsum(v)

执行此代码将返回结果array([ 1., 2., 3., 0., 1., 2., 3., 4., 0., 1.])。此解决方案仅与原始解决方案一样有效，但如果它不能满足您的目的，也许它可以帮助您想出更好的解决方案。

解决方案 3：

这是一个更像熊猫的方式：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

请注意，以上任一方法都要求您pandas至少使用9da899b或更新版本。如果不是，那么您可以将 转换bool dtype为int64或float64 dtype：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.astype(float).cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

解决方案 4：

如果你可以接受类似的布尔系列b，请尝试

(b.cumsum() - b.cumsum().where(~b).fillna(method='pad').fillna(0)).astype(int)

从您的系列开始ts，要么b = (ts == 1)，要么b = ~ts.isnull()。

解决方案 5：

你可以用expanding().apply和replace`method='backfill'`

reset_at = 0

ts.expanding().apply(
    lambda s:
        s[
            (s != reset_at).replace(True, method='backfill')
        ].sum()
).fillna(0)

解决方案 6：

另一种方法是：

cond = ts.isnull()
groups = (cond != cond.shift()).cumsum()
result = ts.groupby(groups).apply(lambda x: x.cumsum()).fillna(0).convert_dtypes()
result.index = result.index.get_level_values(1)

或更简化：

cond = ts.isnull()
groups = (cond != cond.shift()).cumsum()
result = ts.groupby(groups).agg('cumsum').fillna(0).convert_dtypes()

它的工作原理是首先检查每个值是否符合组分隔符的条件（cond）。然后，它将这个条件与前一个条件进行比较，以标记哪个元素开始一个新组（cond != cond.shift()），cumsum然后为每个组分配一个新的组值。

之后，它只需按组号分组并cumsum在每个组内执行所需的操作（）。我喜欢这种方式，因为它清楚地界定了组分隔符的条件和要执行的操作。

解决方案 7：

双行：

cumsum = ts.cumsum().ffill()
(pd.Series(np.where(ts.isna(), -cumsum, np.nan)).ffill().fillna(0) + cumsum).fillna(0)