网络爬虫信息采集

Heinrich_Chen 发布于 2017/02/15 11:14
阅读 42
收藏 0

【业务需求】

 

一、功能需求

我们是一家数据分析公司。目前数据分析的来源大部分依靠数据爬取。为了使公司在日常数据分析中更精准的推荐,加快公司数据布局能力。通过对相关网站信息的采集存储,有助于对分析商家的地区分布,运营能力分布,盈利能力分布。使相关广告的投放更加明确和精准。2、通过数据的采集,形成有价值的分析平台

 

 

二、技术要求

有丰富的网站爬虫经验,有丰富的网站爬虫经验,熟悉MySQL要求语言Java,并提供源码及其两个月的后续支持,总数据量60w左右

 

三、非功能性要求

要求提供项目源码;

要求提供项目支持2个月;

要求提供个人做过的相关项目经验简历;

要求说明相关技术及其实现

 

【人员要求】

 

一、能力要求

 

1、熟悉Java开发;

 

2、熟悉MySQL

 

3、懂得处理一些网站的防爬虫机制,模拟登录,打码,代理IP 等

 

 

二、其他要求

 

1、有良好的沟通能力,熟悉网络爬取

        2、良好的沟通能力


 

 

【交付要求】

 

一、交付物要求

 

1、需要提供项目源代码,及其详细文档

 

2、需要交付Mysql数据

 

3、需要提供项目整体计划

 

4、需要提供两个月的支持

 

二、验收基准

 

1、数据完整性99%以上

 

2、数据的精确度百分之百

 

3、相关采集数据校验需要开发人员提供相关数据

 

4、需要提供项目源码

 

5、需要提供为期两个月的技术支持

 

 

【支付方式】

1、如果完成了数据采集支付校验完成支付百分之三十

 

2、如果完成了两个月的技术支持支付剩下的百分之七十

形成有价值的分析平台       

加载中
0
Heinrich_Chen
Heinrich_Chen
请大家私信或留言给我过往采集经验及使用技术
0
波总z
波总z
不知道用Python可否。爬过天眼查等反爬机制很严的网站
0
晨枫数码光影空间
晨枫数码光影空间

引用来自“波总z”的评论

不知道用Python可否。爬过天眼查等反爬机制很严的网站
天眼查,可以抓取的,不过一个关键词最多只显示50页的信息
0
yolos
yolos
Heinrich_Chen ,你好,我可以胜任你的需求,本人目前在国内某出行平台任一名高级软件开发工程师,熟悉java相关技术栈,如Spring,springmvc,mybatis(SSM),mysql,redis,kafka,java等技术。本人在研究生阶段帮助导师完成过企业搜索引擎,运用到的技术有lucune,oracle,jsoup,htmlparser等,在工作期间也从事过爬虫相关的工作,完成了某些网站的价格爬取。希望能够与你合作。
返回顶部
顶部