如何在windows安装部署spark 求大神们的告知…？

理由
举报 取消

准备初次接触这个，该怎么学习spark，求建议准备完成 基于spark的分类算法的设计与研究 这个毕设 之前不了解数据挖掘 不了解spark 难度高么 求大神们的指点

2017年11月5日 10 条回复 1075 次浏览
用户头像

发起人：Robot 管理大师

回复 ( 10 )

  1. 桂能
    桂能 管理专家
    0
    举报 回复
    理由
    举报 取消

    不要用windows，不要懒，你这里懒一下的话会出现两个后果

    1.你永远学不会spark，你花在折腾上的时间全部白费。

    2.你最终还是转到linux，你花在windows上的时间全部白费。

    3.当然，你也浪费了我跟上面的朋友的时间，回答你这个问题。

  2. 喵了个咪
    喵了个咪 管理大师
    0
    举报 回复
    理由
    举报 取消

    不邀自来。

    首先，保持楼上的队形：学习spark尽量不要使用windows，生产环境中hadoop、spark都不会在windows上运行。折腾windows就是浪费时间。

    目测题主为了毕业设计而来，想必没有多少时间去了解linux。刚好上周在部署一个大规模spark集群时笔记本进水，然后祭出被我封存的古董笔记本做调试，就偷懒在windows上搭建了一个测试环境。我搭建的环境为：windows10 + spark1.6 + python3.5，搭建过程给题主作为参考。

    1.安装spark第一步就是安装jdk(无论windows还是linux)，spark执行依赖jdk。在oracle官网上下载jdk，这里我选择的是8u74 windows x64版本，你也可以根据自己的需求下载，jdk的安装在此不表，无非就是下一步，选安装路径什么的。

    安装完jdk后就要设置环境变量，依次打开system—–Advanced system settings—–Advanced—–Environment Variables。

    然后添加2个环境变量：JAVA_HOME 和 CLASSPATH。

    打开PATH，添加 

    %JAVA_HOME%\bin
  3. 孤寂摩天轮
    孤寂摩天轮 管理大师
    0
    举报 回复
    理由
    举报 取消

    不推荐用windows，非要搞的话，在windows上搭虚拟机吧，或者用docker

  4. Han Yang
    Han Yang 管理大师
    0
    举报 回复
    理由
    举报 取消

    之前做作业想尝试下Spark，不习惯Linux，所以就在Windows里搭了开发环境（Eclipse+JAVA+Spark）

    很简单的，参考官方教程嘛：Spark Programming Guide，里面第一步Linking with Spark

    具体实施起来：

    1、安装Apache Maven，Eclipse

    2、Eclipse里新建一个Maven项目，可以参考：用 Maven 做项目构建

    3、修改Maven项目里的pom.xml，在里面添加一个spark dependency

      <dependencies>
    <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.1</version>
    </dependency>  
  </dependencies>
  5. 兔兔槑槑
    兔兔槑槑 管理大师
    0
    举报 回复
    理由
    举报 取消

    用windows玩spark的感觉就如同

    非要在Mac上折腾一个xp……

    可以做

    但心很累……累

    宝宝曾经被逼着搭建过

    环境搭建明明可以借鉴前人，节省成本

    把精力投入到后面算法实现多好

  6. 小白将
    小白将 管理大师
    0
    举报 回复
    理由
    举报 取消

    Java gateway process exited before sending the driver its port number

  7. 用户头像
    沧海 初入职场
    0
    举报 回复
    理由
    举报 取消

    不要用Windows

  8. 匿名用户
    匿名用户 管理大师
    0
    举报 回复
    理由
    举报 取消

    我知道的在Windows上跑spark最方便的办法是用docker.

    用docker另外一个优势是当你熟悉spark之后, 要部署到多台机子的时候也很方便.

    超简单的步骤:

    1. 下载安装Docker-toolbox: , (安装的时候把kitematic也勾上.)
    2. 打开kitematic, 如果运行没有成功, 勾上”运行在virtual box中”. 重试.
    3. 在kitematic的仓库中搜索spark. 选一个合适的版本, 点create.
    4. 安装完了会自动运行. 点上面的’Exec’的按钮.
    5. 然后你就得到了一个Linux shell, 可以直接跑spark-shell之类的命令了.

    备注:

    • 装docker-toolbox 而不是docker for windows是因为后者只支持windows 10最新的一些版本, 简单起见, 就直接用它了.
    • Dock hub注册那一步可以跳过.
  9. yellowpig
    yellowpig 管理大师
    0
    举报 回复
    理由
    举报 取消

    你问问带你的老师或者学长？

    我老师说不要求系统，但是建议用linux

    还有图书馆的书是不是都被你借走了(╬▔皿▔)凸我昨天看讲spark的只有两本了呜呜呜

  10. 用户头像
    翟应杰 管理大师
    0
    举报 回复
    理由
    举报 取消

    北邮九组毕设。。。。。是么

我来回答

Captcha 点击图片更换验证码