python读取execel表格(xls等格式)转换为csv,并且加载到hive表中
保存的名称叫Python3.sublime-build默认位置。2.使用sublimeText3,配置python。3.python3安装pandas和xlrd。hive建表的前置语句(我已经建了这个表)如果是在hue中执行,需要设定权限。我把csv上传到/root目录下了。5.hive表,前置建表语句。在安有hive的机器执行(1.安装python3。6.hive导入csv。......
1.安装python3
2.使用sublimeText3,配置python(改cmd中的路径为自己的python)
{
"cmd": ["E:\\python3\\python.exe","-u","$file"],
"file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
"selector": "source.python",
"encoding":"utf-8"
}
保存的名称叫Python3.sublime-build默认位置
3.python3安装pandas和xlrd
打开cmd
pip install xlrd -i https://mirrors.aliyun.com/pypi/simple/
pip install pandas -i https://mirrors.aliyun.com/pypi/simple/
4.编写代码
# -*- coding:utf-8 -*-
import pandas as pd
pe=pd.read_excel('C:/Users/rtian/Desktop/a.xls','Sheet1',index_col=0)#可以去掉开头的,
pe.to_csv('C:/Users/rtian/Desktop/data.csv',encoding='utf-8')
5.hive表,前置建表语句
hive建表的前置语句(我已经建了这个表)
如果用中文作为字段名,那必须加上`中文字段`
CREATE TABLE
ods.csv_t2
(
name string,
age string
)
row format delimited fields terminated by ','
6.hive导入csv
本地直接上传
我把csv上传到/root目录下了
打开hive
LOAD DATA LOCAL INPATH '/root/data.csv' INTO TABle ods.csv_t2
通过hdfs上传
在安有hive的机器执行(需要文件在hdfs上)
hdfs dfs -Ddfs.replication=1 -put /root/data.csv /tmp/
打开hive
load data inpath '/tmp/data.csv' into table ods.csv_t2
结果
如果是在hue中执行,需要设定权限。

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)