什么原因导致 Python 段错误？

问题描述：

我正在用 Python 实现 Kosaraju 的强连通分量 (SCC) 图搜索算法。

该程序在小数据集上运行良好，但是当我在超大图表（超过 800,000 个节点）上运行它时，它会显示“分段错误”。

这可能是什么原因造成的？谢谢！

附加信息：首先，我在超大数据集上运行时出现此错误：

"RuntimeError: maximum recursion depth exceeded in cmp"

然后我使用重置递归限制

sys.setrecursionlimit(50000)

但出现了“分段错误”

相信我，这不是一个无限循环，它在相对较小的数据上也能正确运行。程序有可能耗尽了资源吗？

解决方案 1：

当 python扩展（用 C 编写）尝试访问无法访问的内存时，就会发生这种情况。

您可以通过下列方式进行追踪。

• sys.settrace在代码的第一行添加。

• gdb按照Mark在这个答案中描述的方式使用..在命令提示符下

gdb python
(gdb) run /path/to/script.py
## wait for segfault ##
(gdb) backtrace
## stack trace of the c code

解决方案 2：

我知道你已经解决了你的问题，但是对于阅读这个帖子的其他人来说，答案是：你必须增加操作系统为 python 进程分配的堆栈。

具体方法取决于操作系统。在 Linux 中，你可以使用命令检查ulimit -s当前值，也可以使用以下命令增加该值ulimit -s <new_value>

尝试将之前的值加倍，如果不行则继续加倍，直到找到可行的值或内存耗尽。

解决方案 3：

分段错误是一个很常见的错误，造成这种情况的原因有很多：

• 内存不足

• 内存故障

• 使用查询从数据库获取大量数据集（如果获取的数据大小超过交换内存）

• 错误查询/错误代码

• 具有长循环（多重递归）

解决方案 4：

通过修复 Python（Python 段错误..谁知道！）和 C++ 实现上的段错误，更新 ulimit 对我的 Kosaraju 的 SCC 实现有效。

对于我的 Mac，我通过以下方式找到了可能的最大值：

$ ulimit -s -H
65532

解决方案 5：

通过谷歌搜索我找到了这篇文章，并没有看到下面关于“个人解决方案”的讨论。

我最近对 ​​Windows Subsystem for Linux 上的 Python 3.7 感到烦恼：在两台具有相同 Pandas 库的机器上，一台给出警告，segmentation fault另一台报告警告。不清楚哪一个是较新的，但“重新安装”pandas解决了问题。

我在有缺陷的机器上运行的命令。

conda install pandas

更多细节：我运行了相同的脚本（通过 Git 同步），两台机器都是装有 WSL + Anaconda 的 Windows 10 机器。下面是屏幕截图。此外，在命令行python会抱怨的机器上Segmentation fault (core dumped)，Jupyter 实验室每次都会重新启动内核。更糟糕的是，根本没有发出任何警告。

几个月后的更新：我不再在 Windows 机器上托管 Jupyter 服务器。我现在在 Windows 上使用 WSL 获取 Linux 服务器上打开的远程端口，并在远程 Linux 机器上运行我的所有作业。几个月来我从未遇到过任何执行错误 :)

解决方案 6：

在 RPI 上升级 dlib 后，我遇到了这个分段错误。我按照 Shiplu Mokaddim 的建议回溯了堆栈，结果发现它位于 OpenBLAS 库上。

由于 OpenBLAS 也是多线程的，因此在多线程应用程序中使用它会使线程数成倍增加，直至出现分段错误。对于多线程应用程序，请将 OpenBlas 设置为单线程模式。

在 python 虚拟环境中，通过编辑告诉 OpenBLAS 仅使用单个线程：

    $ workon <myenv>
    $ nano .virtualenv/<myenv>/bin/postactivate

并添加：

    export OPENBLAS_NUM_THREADS=1 
    export OPENBLAS_MAIN_FREE=1

重启后，我能够在 rpi3b 上运行之前导致其崩溃的所有图像识别应用程序。

参考：
https ://github.com/ageitgey/face_recognition/issues/294

解决方案 7：

看起来你的堆栈内存不足了。你可能想增加它，正如 Davide 所说。要在 Python 代码中执行此操作，你需要使用线程运行“main()”：

def main():
    pass # write your code here

sys.setrecursionlimit(2097152)    # adjust numbers
threading.stack_size(134217728)   # for your needs

main_thread = threading.Thread(target=main)
main_thread.start()
main_thread.join()

来源：c1729 在 codeforces 上的帖子。使用 PyPy 运行它有点棘手。

解决方案 8：

我遇到了同样的错误。我从另一个 SO 答案sys中了解到，您需要通过和resource模块设置递归限制。

解决方案 9：

这可能是由于递归深度过大造成的，尤其是对于较大的输入大小。如果可能的话，为了减少递归深度，您必须在中间使用循环。