DataFrame 中的字符串，但 dtype 是对象

问题描述：

为什么 Pandas 告诉我有对象，尽管选定列中的每个项目都是一个字符串——即使经过显式转换。

这是我的数据框：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 56992 entries, 0 to 56991
Data columns (total 7 columns):
id            56992  non-null values
attr1         56992  non-null values
attr2         56992  non-null values
attr3         56992  non-null values
attr4         56992  non-null values
attr5         56992  non-null values
attr6         56992  non-null values
dtypes: int64(2), object(5)

其中五个是dtype object。我明确将这些对象转换为字符串：

for c in df.columns:
    if df[c].dtype == object:
        print "convert ", df[c].name, " to string"
        df[c] = df[c].astype(str)

那么，df["attr2"]仍然有dtype object，尽管type(df["attr2"].ix[0]揭示了str，这是正确的。

Pandas 区分int64和float64和object。当没有 时，背后的逻辑是什么dtype str？为什么 被str覆盖object？

解决方案 1：

对象dtype来自 NumPy，它描述了 中元素的类型ndarray。 中的每个元素ndarray必须具有相同的字节大小。 对于int64和float64，它们都是 8 个字节。 但是对于字符串，字符串的长度并不固定。 因此，Pandas 不会直接将字符串的字节保存在 中ndarray，而是使用 对象ndarray，该对象保存指向对象的指针； 因此dtype这种类型的ndarray是对象。

以下是一个例子：

• int64 数组包含 4 个 int64 值。

• 该对象数组包含 4 个指向 3 个字符串对象的指针。

解决方案 2：

@HYRY 的回答很棒。我只是想提供更多背景信息。

数组将数据存储为连续的、固定大小的内存块。这些属性的组合使得数组的数据访问速度快如闪电。例如，考虑一下您的计算机如何存储 32 位整数数组[3,0,1]。

如果你要求计算机获取数组中的第 3 个元素，它会从头开始，然后跳过 64 位以到达第 3 个元素。准确知道​​要跳过多少位是数组快速运行的关键。

现在考虑字符串序列['hello', 'i', 'am', 'a', 'banana']。字符串是大小不同的对象，因此如果你尝试将它们存储在连续的内存块中，最终看起来会像这样。

现在你的计算机没有快速访问随机请求元素的方法。解决这个问题的关键是使用指针。基本上，将每个字符串存储在某个随机内存位置，并用每个字符串的内存地址填充数组。（内存地址只是整数。）所以现在，事情看起来是这样的

现在，如果您要求计算机获取第 3 个元素，就像以前一样，它可以跳过 64 位（假设内存地址是 32 位整数），然后再执行一个额外步骤来获取字符串。

NumPy 面临的挑战是无法保证指针确实指向字符串。这就是它将数据类型报告为“对象”的原因。

我要厚颜无耻地宣传我最初讨论这个问题的 NumPy 课程。

解决方案 3：

接受的答案很好。我只是想参考文档。文档说：

Pandas 使用对象数据类型来存储字符串。

接受的答案很好地解释了“为什么”；字符串是可变长度的：

但是对于字符串来说，字符串的长度不是固定的。

但正如对已接受答案的主要评论曾经说过的那样：“别担心；它应该是这样的。”

解决方案 4：

从 1.0.0 版（2020 年 1 月）开始，pandas 引入了一项实验性功能，通过提供对字符串类型的一流支持pandas.StringDtype。

虽然您仍会默认看到，但可以通过指定或简单地object使用新类型：dtype`pd.StringDtype`'string'

>>> pd.Series(['abc', None, 'def'])
0     abc
1    None
2     def
dtype: object
>>> pd.Series(['abc', None, 'def'], dtype=pd.StringDtype())
0     abc
1    <NA>
2     def
dtype: string
>>> pd.Series(['abc', None, 'def']).astype('string')
0     abc
1    <NA>
2     def
dtype: string