Problemas de múltiples versiones de Spark: se instalan varias versiones de Spark, pero SPARK_MAJOR_VERSION no está configurado

Spark Multi Version Problems

Primero, el trasfondo del problema

A los scripts de Shell para enviar trabajos Spark escritos (spark-submit ...), Shell Script B como un script unificado intermedio llama a un script A, pero el trabajo no envió hilos, ver la información de registro es la siguiente:

Hay varias versiones de Spark instaladas, pero SPARK_MAJOR_VERSION no está configurado

En segundo lugar, el proceso de análisis

1. Verifique la versión actual de Spark

|_+_|

2. Establecer la versión predeterminada Spark

|_+_|

3. Inicie Spark-Shell

Establecer la versión 1.x de Spark

Establecer la versión 2.x de Spark