J'ai rencontré le même problème et la solution la plus simple consiste à définir $SPARK_HOME à /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ à la place.
Vous pouvez également créer directement à partir de la source et vous pouvez trouver les instructions ici.
Fondamentalement, faites simplement
git clone https://github.com/apache/spark/`
cd spark
git checkout origin/branch-X.Y
build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
Vous devrez définir le $SPARK_HOME au répertoire de niveau supérieur du code source de l'étincelle.
Un ticket sur la page du projet a aidé :
unset SPARK_HOME && spark-submit
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967