如何爬取在去哪儿网等网站上的机票数据? 举报 理由 举报 取消 想要做一个机票预测系统,在数据爬取模块想要使用一些开源的爬虫,不知道该选哪种比较方便快捷地爬取到这种深度网络的数据。 2018年2月13日 9 条回复 1242 次浏览 互联网,分析,数据,爬虫,网站,网页,计算机网络
回复 ( 9 )
参考:机票数据采集系统策划方案介绍
机票数据是一种实时性要求很高的网络数据,同时机票采集数据的用途也很多,数据采集的量也会相应增加。
机票数据采集系统的核心目的是通过采集[去哪儿]数据源的机票实时价格信息,动态分析出需要的价格内容,并上传到[携程API]。以下的内容是针对机票数据采集系统策划方案的详细介绍。
1. 采集去哪儿数据(多线程实时采集)
2. 大数据平台管理系统实现
3. 开发携程API接口,上传数据
我们正好在开发机票市场价格采集系统,刚上线。
看这个 ,内嵌浏览器爬取 , 绝对不会被封 ,Coding Pandaの博客
是为了做一个机票搜索软件么,其实总觉得现行的机票搜索逻辑不全面,不能展现所有的机票结果,很多很多低价票没有显示出来,不过我自己不懂技术只懂逻辑
申请人家的api哦。
专业采集 去哪儿 携程 机票数据 酒店数据等 去哪儿 携程机票酒店等软件开发
去哪携程等网站有反爬虫工程师,你爬虫很弱的话,得到的几乎是假数据甚至嘲讽
你是携程的吗?
模拟浏览器 非常恶心难爬