• 35648

    文章

  • 23

    评论

  • 20

    友链

  • 最近新加了很多技术文章,大家多来逛逛吧~~~~
  • 喜欢这个网站的朋友可以加一下QQ群,我们一起交流技术。

Pandas 读取流式文件 原

欢迎来到阿八个人博客网站。本 阿八个人博客 网站提供最新的站长新闻,各种互联网资讯。 喜欢本站的朋友可以收藏本站,或者加QQ:我们大家一起来交流技术! URL链接:https://www.abboke.com/jsh/2019/0627/4035.html

>>>

import oss2
import pandas as pd
import csv


accessKeyId = " "
accessKeySecret = " "
auth = oss2.Auth(accessKeyId, accessKeySecret)


# oss文件流式下载
def get_oss_stream(endpoint, bucket_name, origin_file_path):
    print("开始下载数据")
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    return bucket.get_object(origin_file_path).read()


# pandas读取流式文件
def get_stream_csv(stream):
    content = stream.decode()
    # print(content)
    csv_line = str(content).split("\n")
    # for i in range(10):
    #     print(csv_line[i])
    print("===========")
    data = list(map(lambda x: str(x).split(","), csv_line[1:]))
    frame = pd.DataFrame(data, columns=csv_line[0].split(","))
    return frame


bucketName = " "
originFile = " "

read = get_oss_stream(endpoint1, bucketName, originFile)
df = get_stream_csv(read)
print(df.head())

主要是将文件内容按行分割,再按逗号分割最后转换为list,然后使用pandas转成DF

相关文章

暂住......别动,不想说点什么吗?
  • 全部评论(0
    还没有评论,快来抢沙发吧!