如何使用spark处理数据集

kevinlu 发布于 2014/05/15 15:58
阅读 1K+
收藏 0

基本不会编代码,毕设选了“基于测量的在线视频流媒体质量因素分析”,导师要求使用spark进行分析,可是我是个对大数据,机器学习,rdd,hdfs,完全是一头雾水,因为导师和研究生也没有会这个的,只能靠我自己学习,请问有人能帮我下吗?不用太深入了解spark,但是我需要明白怎么处理数据集,其实我连怎么布置编译环境什么的还不怎么明白。 什么scala,java,yarn,spark streaming,我究竟需要怎样使用spark,才能达到完成我毕设的那些任务,我知道各位程序员哥哥非常忙,但我也是要到deadline作死的节奏了,如能亲手指点小弟一二,不吝感激!

研究内容:了解视频流媒体业务的基本特征,基于测量数据集,进行在线视频质量因素分析。分析流媒体质量与媒体内容、终端类型、地理位置、观看时间等不同因素的关系。  

研究方法:机器学习、数据挖掘

基本要求:完成测量数据集的处理,提出分析模型

加载中
0
laungcisin
laungcisin
先学Scala.
kevinlu
kevinlu
学了hadoop,好吧,再去看下scala,谢谢
0
矮穷挫
矮穷挫
深入浅出Spark机器学习实战(用户行为分析)
课程观看地址:http://www.xuetuwuyou.com/course/144
课程出自学途无忧网:http://www.xuetuwuyou.com
0
年轻真好
Scala语言培训视频教程
观看地址:http://www.xuetuwuyou.com/course/12


课程大纲:
Scala入门到精通——第1课、Scala语言初步
Scala入门到精通——第2课、Scala基本类型及操作、程序控制结构
Scala入门到精通——第3课、Array、List
Scala入门到精通——第4课、Set、Map、Tuple、队列操作实战
Scala入门到精通——第5课、函数与闭包
Scala入门到精通——第6课、类和对象(一)
Scala入门到精通——第7课、类和对象(二)
Scala入门到精通——第8课、包和引入
Scala入门到精通——第9课、继承与组合
Scala入门到精通——第10课、Scala类层次结构、Traits初步
Scala入门到精通——第11课、Trait进阶
Scala入门到精通——第12课、I/O与正则表达式
Scala入门到精通——第13课、高阶函数
Scala入门到精通——第14课、Case Class与模式匹配(一)
Scala入门到精通——第15课、Case Class与模式匹配(二)
Scala入门到精通——第16课、泛型与注解
Scala入门到精通——第17课、类型参数(一)
Scala入门到精通——第18课、隐式转换与隐式参数(一)
Scala入门到精通——第19课、隐式转换与隐式参数(二)
Scala入门到精通——第20课、类型参数(二)
Scala入门到精通——第21课、类型参数(三)
Scala入门到精通——第22课、高级类型 (一)
Scala入门到精通——第23课、高级类型 (二)
Scala入门到精通——第24课、高级类型 (三)
Scala入门到精通——第25课、提取器(Extractor)
Scala入门到精通——第26课、Scala并发编程基础
Scala入门到精通——第27课、Scala操纵 XML
Scala入门到精通——第28课、Scala与JAVA互操作
Scala入门到精通——第29课、Scala数据库编程
Scala入门到精通——第30课、Scala脚本编程与结束语

返回顶部
顶部