spark能跑Python么-Python教程

spark能跑Python么？

spark是能够跑Python顺序的。python编写好的算法，或许扩大库的，比方sklearn均可以正在spark上跑。间接应用spark的mllib也是能够的，年夜局部算法都有。

Spark 是一个通用引擎，可用它来实现各类百般的运算，包罗 SQL 查问、文本解决、机械学习等。

本次试验是搭有spark环境的linux下跑的，spark版本为1.6.1，相称于正在正在spark内陆执行，spark文件放正在/opt/moudles/spark-1.6.1/（代码中会看到）

编写python测试顺序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#设置装备摆设环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #使用顺序称号
master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成本人的主节点主机称号
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

执行python顺序

执行以下饬令

python test.py

执行与后果辨别以下图所示：

以上就是spark能跑Python么的具体内容，更多请存眷资源魔其它相干文章！