国外spark免费网站正规
国外Spark免费服务器,国外规正规渠道其实就那几家,费网别被搜索引擎前几页的站正“野鸡教程”带偏了。我去年折腾大数据课程作业,国外规把能注册的费网免费层都试了一遍,踩过坑,站正也捡过漏。国外规直接说结论:最靠谱的费网是Amazon RDS的免费套餐和Databricks的Community Edition,前者是站正实打实的云数据库,后者是国外规Spark环境,不是费网云主机,但跑学习代码足够。站正 Amazon RDS免费套餐,国外规一年750小时,费网db.t3.micro实例,站正20GB存储。这东西你得小心,它默认开启多可用区部署,那玩意儿收费。我同学就栽在这上面,月底账单出来傻眼了。正确操作是创建时把多可用区关掉,备份保留期设成0天,只保留自动备份。我这么干,跑了四个月,一分钱没扣。Spark on RDS?不是直接跑Spark,是用Spark SQL连上去查数据,但很多人搞混了,以为能直接在上面submit任务。别做梦,免费层没这功能。 Databricks Community Edition才是真能写Spark代码的地方。注册完直接给你一个集群,6GB内存,够跑中等规模的数据集。我拿它处理过纽约出租车数据的CSV,大概两千万行,groupBy和join操作都能跑,就是shuffle的时候偶尔会卡,等个十几秒就缓过来了。社区版有个烦人的地方——集群闲置30分钟自动关,第二天来接着用还得重新启动,启动要等两三分钟。但人家是真免费,没时间限制,不绑定信用卡,注册完就能用。这比那些号称免费、结果要你绑定PayPal的野鸡平台强多了。 还有个冷门的,IBM Cloud的Lite计划。它有Spark服务,但界面老旧得跟2015年似的,文档写得稀碎。我试过一次,创建实例倒是简单,但往里头传数据得用他们的Cloud Object Storage,那玩意儿免费额度只有5GB,传个大文件就得删旧的。除非你只是跑个wordcount练手,否则别碰。社区也冷清,提问没人回,不像Databricks论坛,发个帖半小时就有人答。 Google Colab呢?很多人不知道Colab其实能装pyspark,用pip install pyspark就行。但Colab的免费GPU对Spark没帮助,Spark吃内存不吃显卡。你开个标准版Colab,内存才12GB,跑个稍微大点的DataFrame就OOM。我试过用Colab跑Spark处理IMDb影评数据,几百MB的CSV,卡成PPT。而且Colab会断连,跑着跑着session没了,你的Spark Context也跟着没。除非你只是做语法练习,否则不推荐。 最后提醒一句,别信那些“无限免费Spark服务器”的广告。真有这种好事,AWS和Azure早倒闭了。我自己也试过几个小众平台,什么“SparkHostingClub”,注册完让你等48小时审核,然后邮件告诉你“免费计划已满员”。都是套路。老老实实用Databricks Community Edition,配个RDS跑SQL,学习够用了。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
- 搜索
-
- 友情链接
-