ERROR TransportResponseHandler:
Still have 1 requests outstanding when connection from is closed
我加了如下的参数
spark.driver.memory=4g
spark.hadoop.mapreduce.input.fileinputformat.split.maxsize=134217728
spark.dynamicAllocation.initialExecutors=50
spark.yarn.executor.memoryOverhead=2048
spark.dynamicAllocation.maxExecutors=1000
spark.dynamicAllocation.tasksPerExecutorSlot=1
运行这个程序实际上是逻辑上简单的,但从蜂窝表中读取的数据量很大,接近60G,
并且你需要读到一些 hive表到dirver节点来获取每个执行器的一些数据的映射值,
因此,驱动程序设置了一个较大的资源。 在运行时丢失的异常信息,由互联网检查后,下面的原因是大致是服务器
如果同时连接的数量超过其装载能力,服务器将降落其中的一些连接,这意味着当运行公园程序时,太多的应用程序同时执行。
java.util.concurrent.RejectedExecutionException: Task scala.concurrent.impl.CallbackRunnable@3f9bf2d0 rejected from java.util.concurrent.ThreadPoolExecutor
上面是火花日志,还有一些其他日志,
18/06/11 18:40:43 ERROR TransportResponseHandler: