maven-seimicrawler-plugin 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
maven-seimicrawler-plugin 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
maven-seimicrawler-plugin 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

软件简介

maven-seimicrawler-plugin 是为了方便开发者对于 SeimiCrawler 工程的快速打包并独立部署而专门定制开发的 maven 打包插件。

开始

pom添加添加plugin

<plugin>
    <groupId>cn.wanghaomiao</groupId>
    <artifactId>maven-seimicrawler-plugin</artifactId>
    <version>1.0.0</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>build</goal>
            </goals>
        </execution>
    </executions>
    <!--<configuration>-->
        <!-- 默认target目录 -->
        <!--<outputDirectory>/some/path</outputDirectory>-->
    <!--</configuration>-->
</plugin>

执行mvn clean package即可,包目录结构如下:

.
├── bin             # 相应的脚本中也有具体启动参数说明介绍,在此不再敖述
│   ├── run.bat    #windows下启动脚本
│   └── run.sh     #Linux下启动脚本
└── seimi
    ├── classes     #Crawler工程业务类及相关配置文件目录
    └── lib         #工程依赖包目录

SeimiCrawler项目

SeimiCrawler是一个敏捷的,支持分布式的Java爬虫开发框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里,绝大多数人只需关心去写抓取的业务逻辑就够了,其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大,同时融合了Java语言本身特点与Spring的特性,并希望在国内更方便且普遍的使用更有效率的XPath解析HTML,所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目,非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成(当然,数据处理亦可以自行选择其他解析器)。

直达SeimiCrawler项目

社区讨论

大家有什么问题或建议现在都可以选择通过下面的邮件列表讨论,首次发言前需先订阅并等待审核通过(主要用来屏蔽广告宣传等)

  • 订阅:请发邮件到 seimicrawler+subscribe@googlegroups.com

  • 发言:请发邮件到 seimicrawler@googlegroups.com

  • 退订:请发邮件至 seimicrawler+unsubscribe@googlegroups.com

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
2018/06/25 00:10

SeimiCrawler 2.0版本变动介绍

- 完美支持SpringBoot,可以尽情的集成SpringBoot现有生态,[demo参考](https://github.com/zhegexiaohuozi/SeimiCrawler/tree/master/spring-boot-example) - 回调函数支持方法引用,设置起来更自然 ``` push(Request.build(s.toString(),Basic::getTitle)); ``` - 非SpringBoot模式全局配置项通过`SeimiConfig`进行配置,包括 Redis集群信息,SeimiAgent信息等,SpringBoot模式则通过SpringBoot标准模式配置 常规模式: ``` ...

0
0
2019/06/30 10:10

Maven plugin - maven-dependency-plugin

http://maven.40175.n5.nabble.com/process-sources-process-the-source-code-for-example-to-filter-any-values-td121948.html maven-dependency-plugin插件的使用 本文同步分享在 博客“汪子熙”(CSDN)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。...

0
0
发表了博客
2016/01/31 21:55

maven之plugin

发布 clean deploy 设置pom <distributionManagement> <repository> <id>user-release</id> <name>user release resp</name> <url>http://localhost:8081/nexus/content/repositories/releases/</url> </repository> <snapshotRepository> <id>user-snapshot</id> <name>user snapshot</name> <url>http://localhost:8081/nexus/content/repositories/snapshots/</url> </snapshotRepository> </distributionManagement> 2查看用...

0
1
发表于软件架构专区
2018/10/18 11:56

使用Maven打包你的应用——maven-jar-plugin & maven-assembly-plugin & maven-shade-plugin

[原文链接:https://www.dubby.cn/detail.html?id=9091](https://www.dubby.cn/detail.html?id=9091) >介绍`maven-jar-plugin`,`maven-assembly-plugin`和`maven-shade-plugin`的使用,和他们之间的区别。原文出自:[https://blog.dubby.cn/detail.html?id=9091](https://blog.dubby.cn/detail.html?id=9091) ## 1.maven-jar-plugin 首先,需要配置这个plugin: ``` org.apache.maven.plugins maven-jar-plugin true lib/ cn.du...

0
0
发表于软件架构专区
2016/05/08 19:19

jetty-maven-plugin

1 在pom.xml add : XXX(工程名字) org.mortbay.jetty jetty-maven-plugin 8.1.16.v20140903 10 /lhc webapp 8080 60000 9966 foo 30 具体参数说明看 http://www.eclipse.org/jetty/documentation/current/jetty-maven-plugin.html 2 config the ide(eclipse) 选中项目,右键选择 Run As --> Maven build jetty:run 到此配置完成。 运行或debug:右键 Run As 3 禁止 Jetty 使用映射缓存: 当你想试图去修改正在被访问的资源文件...

1
1
发表了博客
2014/07/18 09:23

Jetty Maven Plugin

①Maven settings.xml文件 <pluginGroups>   <pluginGroup>org.mortbay.jetty</pluginGroup> </pluginGroups> ②Maven 项目的pom.xml文件 <plugin> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty-maven-plugin</artifactId> <configuration> <webApp> <contextPath>/</contextPath> </webApp> ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
2 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部