PiFlow v0.5 发布:大数据流水线系统

judy_0131
 judy_0131
发布于 2019年03月18日
收藏 63

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。它具有如下特性:

  1. 简单易用:可视化配置流水线,实时监控流水线运行状态,查看日志
  2. 功能强大:提供100+的数据处理组件, 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,同时集成了微生物领域的相关算法。
  3. 扩展性强:支持自定义开发数据处理组件
  4. 性能优越:基于分布式计算引擎Spark开发

试用地址:http://piflow.ml/piflow-web/login ,用户名/密码:admin/admin

安装使用说明详见:https://github.com/cas-bigdatalab/piflow

支持的数据处理组件如下:

组名

组件名

Hive:

SelectHiveQL,PutHiveStreaming,PutHiveQL

HDFS

PutHdfs,DeleteHdfs,UnzipFilesOnHDFS,GetHdfs,ListHdfs,SelectFilesByName

HTTP

InvokeUrl,GetUrl,UnGZip,PostUrl,LoadZipFromUrl,FileDownHDFS

RDF

CsvToNeo4J,RdfToDF

Spider

Spider

JDBC

JdbcRead,JdbcReadFromOracle,JdbcWrite,JdbcWriteToOracle,SelectImpala

Streaming

FlumeStream,KafkaStream,SocketTextStreamByWindow,SocketTextStream,TextFileStream

MongoDB

GetMongo,PutMongo

CSV

FolderCsvParser,CsvSave,CsvParser,CsvStringParser

File

PutFile,FetchFile,RegexTextProcess

Script

ShellExecutor,DataFrameRowParser

Common

Distinct,ConvertSchema,Fork,SelectField,Join,DoFlatMapStop,ExecuteSQLStop,Merge,DoMapStop,Subtract

Data Clean

IdentityNumberClean,PhoneNumberClean,EmailClean,TitleClean

Message Queue

WriteToKafka,ReadFromKafka

Microorganism

Ensembl_gff3Parser,GeneParser,RefseqParser,GoDataParse,PfamDataParser,GoldDataParse,Swissprot_TrEMBLDataParser,EmblParser,PDBParser,GenBankParse,TaxonomyParse,BioProjetDataParse,BioSampleParse,InterprodataParse,MicrobeGenomeDataParser

MemCache

ComplementByMemcache,PutMemcache,GetMemcache

Machine Learning

cGaussianMixtureTraining,LogisticRegressionTraining,RandomForestTraining,DecisionTreePrediction,RandomForestPrediction,BisectingKMeansPrediction,LDAPrediction,MultilayerPerceptronTraining,GBTTraining,BisectingKMeansTraining,MultilayerPerceptronPrediction,GBTPrediction,KmeansTraining,NaiveBayesPrediction,DecisionTreeTraining,LDATraining, WordToVec ,LogisticRegressionPrediction,KmeansPrediction,NaiveBayesTraining,GaussianMixturePrediction

ElasticSearch:

PutEs,QueryEs,FetchEs

Redis:

WriteToRedis,ReadFromRedis

XML

XmlParser,XmlStringParser,FlattenXmlParser,XmlSave,FolderXmlParser

FTP

UploadToFtp,LoadFromFtpToHDFS

Excel

ExcelParser

Solr

PutIntoSolr,GetFromSolr

JSON

JsonStringParser,MultiFolderJsonParser,FolderJsonParser,JsonSave,JsonParser,EvaluateJsonPath,

GraphX

LoadGraph,LabelPropagation

 

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:PiFlow v0.5 发布:大数据流水线系统
加载中

最新评论(4

cabbage89
cabbage89
可以理解为 ETL 工具吗?
judy_0131
judy_0131

引用来自“yqqroot”的评论

差评。readme 几句话。release 版本 也不能直接使用。
请问您遇到了什么困难呢?需要我们什么帮助? 小提示:PiFlow是基于Spark开发的,需要自己安装Spark,Hadoop, Hive 环境。
y
yqqroot
差评。readme 几句话。release 版本 也不能直接使用。
okk
okk
赞,祝越来越好!
返回顶部
顶部