12306火车票数据爬虫部分
1. 通过12306月排班表拿到所有的车次信息
URL:https://kyfw.12306.cn/otn/resources/js/query/train_list.js?scriptVersion=1.0
文件大小大概有35M.
分析数据,拿到所有的车次信息,并去重。
通过步骤1,拿到全国所有车次的信息
2.拿到全国所有车站的电码信息编号
URL:https://kyfw.12306.cn/otn/resources/js/framework/station_name.js
数据格式:@bjb|北京北|VAP|beijingbei|bjb|0
可拿到的重要信息有:
- 车站名缩写:
bjb - 车站名称:
北京北 - 车站电码编号:
VAP - 车站数字编号:
0
这些信息在后续的API中会使用到。
通过1,2我们拿到了全国车次信息和全国车站信息,作为基础信息进行保存,可以一个月更新一次
3.从步骤1的数据中分析出全国起始点信息
URL:https://kyfw.12306.cn/otn/leftTicket/query?
Param:
-
leftTicketDTO.train_date: 时间 -
leftTicketDTO.from_station: 出发车站电码 -
leftTicketDTO.to_station: 目的车站电码 -
purpose_codes: 默认固定ADULT
可拿到信息:
从出发站到目的站的所有车次的车次编号和车号,起始站名称和时间
4.拿到指定车次7天内的所有站点信息
URL:https://kyfw.12306.cn/otn/czxx/queryByTrainNo?
Param:
-
train_no: 车次编号,从步骤1中的数据获取 -
from_station_telecode: 起始站点的电码编号 -
to_station_telecode: 目的站点的电码编号 -
depart_date: 查询日期
请求示例-> 5l0000D35273车次2018-07-31从上海虹桥到成都东:
URL:https://kyfw.12306.cn/otn/czxx/queryByTrainNo?train_no=5l0000D35273&from_station_telecode=AOH&to_station_telecode=ICW&depart_date=2018-07-31
返回数据包括:
-
station_name: 站名 -
arrive_time: 到站时间 -
start_time: 出站时间 -
stopover_time: 停留时间 -
station_no: 车站在该线路的编号
5.拿到车票价格
URL:https://kyfw.12306.cn/otn/leftTicket/queryTicketPrice?
Param:
-
train_no: 车次编号 -
from_station_no: 起始车站在线路中的编号(步骤3) -
to_station_no: 目的地车站在线路中的编号(步骤3) -
seat_types: 座位信息 -
train_date: 日期
seat_types类型详解:
-
MIN：其他座票价 -
WZ：无座票价 -
A1：硬座票价 -
A2：软座票价 -
A3：硬卧票价 -
A4：软卧票价 -
A6：高级软卧 -
O：二等座票价 -
M：一等座票价 -
P：特等座票价 -
A9：商务座票价 -
train_no：车次代码
数据库设计
使用场景
1. 车票信息
上行请求信息:出发站点名称,目的站点名称,出发日期
下行信息:车次编号,出发时间,到达时间,车票类型及对应价格
上行请求信息:车次编号,时间
下行信息:所经过车站名称和各个车站的出发到达时间
数据量分析
每天共有2645趟列车,共有车次2645个每个车次编号每天只跑一次.根据车次和时间可以唯一确定一趟车.
查询车次信息,共需要2645次请求.
假设每趟车对应22个车站,则每趟车共有站点信息22个,每天则有51900条左右的车站信息.
查询车站信息共需2645次请求.
一趟车查询所有的价格情况需要查询231次.共需要610,995次请求。
每一天的请求量约为:616,285次请求.
