不通过pyspark,如何直接把dataframe的内容写入到目标hive表。

不通过pyspark,如何使用Python直接把dataframe的内容写入到目标hive表。

可以使用Python中的PyHive库来直接连接并操作Hive表

 pip install PyHive

  • 建议你看下这篇博客👉 :python将pandas数据转为spark的dataframe格式保存到hive中
  • 除此之外, 这篇博客: 【PySpark】 DataFrame读写中的 3)连接Hive 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  • # 开启支持Hive	
    spark = SparkSession.builder.appName("pyspark_hive").master("local") \
        .enableHiveSupport() \
        .getOrCreate()
    # 读取Hive
    hive_df = spark.sql("select * from dbName.dbTable1")
    hive_df.show()
    # 将数据保存Hive
    hive_df.write.mode("overwrite").saveAsTable("dbName.daTable2")