今天看啥  ›  专栏  ›  About云

日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

About云  · 公众号  ·  · 2017-10-18 14:24
问题导读1.自定义包,本文放到哪个路径下面?2.复制包之后,需要做哪些权限操作?3.如何验证导入是否成功?上一篇about云日志分析实战之清洗日志2:导入日志清洗代码并打包http://www.aboutyun.com/forum.php?mod=viewthread&tid=22862上一篇文章,生成了包,那么这个包该如何加载到spark环境中,并且为我们所使用。那么首先改如何加载这个包。首先将这个包放到spark中的lib文件夹下。 在复制到Linux中,首先需要修改的就是权限。我们看到用户和组的权限为500,并且用户,所属组,及其它用户都为满权限,可以通过下面命令来实现[Bash shell] 纯文本查看 复制代码?1sudo chown 500:500 ScalaApacheAccessLogParser-master.jar[Bash shell] 纯文本查看 复制代码?1sudo chmod -R a+r ScalaApacheAccessLogParser-maste ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照