Hadoop数据传输问题?

Hadoop数据传输问题?

在开发中遇见一个问题,业务数据服务器与Hadoop服务器不在同一个地方,网络不可达,需要将业务数据实时传入Hdfs中。
公司用的是c#开发的,不是很熟悉大数据组件,他们准备在Hadoop服务器中部署一套tomcat的web服务,用来实时接收业务数据,现在所面临的问题就是如何将tomcat中的实时数据传送到Hdfs中?
(要求只能在hadoop、hive、spark这三个技术中解决,我目前想到的就是写javaApi上传数据,但是那是实时数据,每次只有一条数据,这样会频繁地创建fs对象,对系统性能不是很好。接口中的数据以Json格式发送)
有没有兄弟指导一下该怎么做?

这三个可能不太好解决,对于大数据场景来说,如果将业务数据服务器上的数据传输到hadoop集群上,需要通过flume + kafka + flume的方式,详情你可以参考这篇博客:https://blog.csdn.net/qq_38705144/article/details/112600396