Pandas 从 URL 读取 csv

2025-01-07 08:44:00
admin
原创
130
摘要:问题描述:我正在尝试使用 Python 3.x 从给定的 URL 读取 csv 文件:import pandas as pd import requests url = "https://github.com/cs109/2014_data/blob/master/countries.csv&qu...

问题描述:

我正在尝试使用 Python 3.x 从给定的 URL 读取 csv 文件:

import pandas as pd
import requests

url = "https://github.com/cs109/2014_data/blob/master/countries.csv"
s = requests.get(url).content
c = pd.read_csv(s)

我有以下错误

“预期文件路径名或类似文件的对象,得到 <class 'bytes'> 类型”

我该如何解决这个问题?我使用的是 Python 3.4


解决方案 1:

在最新版本的 pandas ( 0.19.2) 中,你可以直接传递 url

import pandas as pd

url = "https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
c = pd.read_csv(url)

解决方案 2:

更新0.19.2:现在您可以从 pandas直接传递read_csv()url,但如果需要身份验证,则此操作将会失败。


对于较旧的 pandas 版本,或者如果您需要身份验证,或者出于任何其他 HTTP 容错原因:

使用pandas.read_csv类似文件的对象作为第一个参数。

  • 如果您想从字符串读取 csv,可以使用io.StringIO

  • 对于 URL https://github.com/cs109/2014_data/blob/master/countries.csv,您将获得html响应,而不是原始csv;您应该使用 github 页面中的链接提供的 urlRaw来获取原始 csv 响应,即https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv

例子:

import pandas as pd
import io
import requests

url = "https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
s = requests.get(url).content
c = pd.read_csv(io.StringIO(s.decode('utf-8')))

注意:在 Python 2.x 中,字符串缓冲区对象StringIO.StringIO

解决方案 3:

正如我所评论的,您需要使用一个 StringIO 对象并进行解码,即,c=pd.read_csv(io.StringIO(s.decode("utf-8")))如果使用请求,您需要解码为 .content 返回字节,如果您使用 .text,您只需要按原样传递 s s = requests.get(url).textc = pd.read_csv(StringIO(s))

一种更简单的方法是将原始数据的正确 url直接传递给read_csv,您不必传递类似文件的对象,您可以传递一个 url,这样您根本不需要请求:

c = pd.read_csv("https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv")

print(c)

输出:

                              Country         Region
0                             Algeria         AFRICA
1                              Angola         AFRICA
2                               Benin         AFRICA
3                            Botswana         AFRICA
4                             Burkina         AFRICA
5                             Burundi         AFRICA
6                            Cameroon         AFRICA
..................................

来自 文档:

文件路径或缓冲区

字符串或文件句柄 / StringIO 字符串可以是 URL。有效的 URL 方案包括 http、ftp、s3 和文件。对于文件 URL,需要主机。例如,本地文件可以是 file ://localhost/path/to/table.csv

解决方案 4:

您遇到的问题是,变量“s”中的输出不是 csv,而是 html 文件。为了获取原始 csv,您必须将 url 修改为:

' https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv '

您的第二个问题是 read_csv 需要文件名,我们可以通过使用 io 模块中的 StringIO 来解决这个问题。第三个问题是 request.get(url).content 传递的是字节流,我们可以改用 request.get(url).text 来解决这个问题。

最终结果是此代码:

from io import StringIO

import pandas as pd
import requests
url='https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv'
s=requests.get(url).text

c=pd.read_csv(StringIO(s))

输出:

>>> c.head()
    Country  Region
0   Algeria  AFRICA
1    Angola  AFRICA
2     Benin  AFRICA
3  Botswana  AFRICA
4   Burkina  AFRICA

解决方案 5:

url = "https://github.com/cs109/2014_data/blob/master/countries.csv"
c = pd.read_csv(url, sep = "    ")

解决方案 6:

要在 pandas 中通过 URL 导入数据,只需应用下面简单的代码,效果实际上更好。

import pandas as pd
train = pd.read_table("https://urlandfile.com/dataset.csv")
train.head()

如果你对原始数据有问题,那么只需在 URL 前加上“r”

import pandas as pd
train = pd.read_table(r"https://urlandfile.com/dataset.csv")
train.head()
相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   2911  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1774  
  PLM(产品生命周期管理)系统在企业的产品研发、生产与管理过程中扮演着至关重要的角色。然而,在实际运行中,资源冲突是经常会遇到的难题。资源冲突可能导致项目进度延迟、成本增加以及产品质量下降等一系列问题,严重影响企业的效益与竞争力。因此,如何有效应对PLM系统中的资源冲突,成为众多企业关注的焦点。接下来,我们将详细探讨5...
plm项目管理系统   0  
  敏捷项目管理与产品生命周期管理(PLM)的融合,正成为企业在复杂多变的市场环境中提升研发效率、增强竞争力的关键举措。随着技术的飞速发展和市场需求的快速更迭,传统的研发流程面临着诸多挑战,而将敏捷项目管理理念融入PLM,有望在2025年实现研发流程的深度优化,为企业创造更大的价值。理解敏捷项目管理与PLM的核心概念敏捷项...
plm项目   0  
  模块化设计在现代产品开发中扮演着至关重要的角色,它能够提升产品开发效率、降低成本、增强产品的可维护性与可扩展性。而产品生命周期管理(PLM)系统作为整合产品全生命周期信息的关键平台,对模块化设计有着强大的支持能力。随着技术的不断发展,到 2025 年,PLM 系统在支持模块化设计方面将有一系列令人瞩目的技术实践。数字化...
plm软件   0  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用