PySpark à Jupyter

PySpark à Jupyter
Il existe deux manières d'obtenir PySpark dans un bloc-notes Jupyter:
 Configurez le pilote PySpark pour utiliser Jupyter Notebook:
l'exécution pysparkouvrira automatiquement un Jupyter Notebook
 Chargez un ordinateur portable Jupyter standard et chargez PySpark à l'aide
du package findSpark
La première option est plus rapide mais spécifique à Jupyter Notebook, la
deuxième option est une approche plus large pour que PySpark soit disponible
dans votre IDE préféré.
Méthode 1 - Configurer le pilote PySpark
Mettre à jour les variables d'environnement du pilote PySpark: ajoutez ces
lignes à votre ~/.bashrc(ou ~/.zshrc) fichier.
export PYSPARK_DRIVER_PYTHON = jupyter
export PYSPARK_DRIVER_PYTHON_OPTS = 'notebook'
Redémarrez votre terminal et relancez PySpark:
$ pyspark
Maintenant, cette commande devrait démarrer un bloc-notes Jupyter dans
votre navigateur Web. Créez un nouveau carnet en cliquant sur "Nouveau">
"Cahiers Python [par défaut]".
Copiez et collez notre script de calcul Pi et exécutez-le en appuyant sur Maj +
Entrée.

Terminé!
Vous pouvez maintenant exécuter PySpark dans un cahier Jupyter :)
Méthode 2 - Package FindSpark
Il existe une autre manière plus générale d’utiliser PySpark dans un carnet
Jupyter: utilisez le package findSpark pour créer un contexte Spark disponible
dans votre code.
Le package findSpark n’est pas spécifique à Jupyter Notebook, vous pouvez
également utiliser cette astuce dans votre IDE préféré.
Pour installer le findpark:
$ pip install findspark
Lancer un cahier Jupyter régulier:
$ jupyter notebook
Créez un nouveau bloc-notes Python [par défaut] et écrivez le script suivant:
importation findpark
findpark.init () import pyspark
import aléatoire sc = pyspark.SparkContext (appName = "Pi")
num_samples = 100000000 def inside (p):
x, y = random.random (), random.random ()
return x * x + y * y <1 count = sc.parallelize (range (0, num_samples)).
filter (inside) .count () pi = 4 * count / num_samples
print (pi) sc.stop ()
Le résultat devrait être: