作者tuoba (拖把)
看板AviationGame
標題[閒聊][AM] 航線查詢程式原始碼
時間Fri Oct 16 12:45:16 2009
這是我用來收集航線資料的程式的原始碼，在這邊公開
雖然這個程式還是有許多問題，收集到的資料也會有錯誤
但一直到目前為止，航線查詢網站裡面所有的資料，都是用這個程式收集而來的
這個程式是用 ruby 寫的
require 'rubygems'
require 'active_record'
require 'mechanize'
ActiveRecord::Base.establish_connection(
:adapter => "mysql",
:host => "localhost",
:username => "mysql user name",
:password => "mysql password",
:database => "database name"
)
class Distance < ActiveRecord::Base
end
# 以上這邊是定義自己本地端的資料庫
a = WWW::Mechanize.new
login_page = a.get('
http://www.facebook.com/')
login_page.form_with(:action => '
https://login.facebook.com/login.php?login_attempt=1') do |f|
f.email = 'facebook 登入用的 username'
f.pass = 'facebook 登入用的密碼'
end.click_button
# 以上這邊是讓機器人自己登入 facebook
newroute_page = a.get('
http://apps.facebook.com/airline_manager/route.php?uID=new')
find_route_page = newroute_page.form_with(:action => 'route2.php') do |f|
end.click_button
# 以上這邊是讓電腦去走抓取到新增航線那一頁
citylist = find_route_page.search("//select[@name='departure']/option")
# 這樣的話，就可以取得目前所有的航點的列表
max_list = citylist.length-1
y = 1
citylist.each do | dcity |
citylist.slice(y..max_list).each do | acity |
#這邊開始用兩個迴圈，把資料都掃過一次
ccity = Distance.find_by_departure_and_arrival(dcity.content, acity.content)
if ccity.nil? then
# 先查詢我們自己的資料庫內，有沒有這筆資料，如果沒有的話，就新增
goto_find_route = find_route_page.form_with(:action => 'route3.php') do |f|
f.departure = dcity.[]('value').to_i
f.arrival = acity.[]('value').to_i
end.click_button
# 這個就會查詢航線，把資料拿出來
destience = ""
i = 1
goto_find_route.search('//table[@width="100%"]/tr/td/text()').each do |dest_km|
if i == 2 then
destience = dest_km.content
else
end
i = i + 1
end
# 這個就會取得網頁上的距離的那個數字
newdestience = destience.gsub(/km/,'').to_i
airline = Distance.new(:departure => dcity.content , :arrival => acity.content, :distance =>newdestience )
airline.save
puts "#{dcity.content},#{acity.content},#{newdestience},"
airline = Distance.new(:departure => acity.content , :arrival => dcity.content, :distance =>newdestience )
airline.save
puts "#{acity.content},#{dcity.content},#{newdestience},"
end
end
# 這個就是把取得的航線資料，存到本地的資料庫內
# 因為去回都一樣，所以存成來回兩筆資料
end
y = y + 1
end
# 這樣就結束了
有需要的人，可以隨便拿去用
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 96.226.117.78
1F：推 B77W:大推！ 10/16 12:46
2F：推 supa:看無推 10/16 13:26
3F：推 Rivera01:看無推 10/16 14:15
4F：推 jsu:Ruby 的語法簡潔很多，我在 php 上要自己實做一堆物件 10/16 16:53
5F：推 barryyin:這樣的語法很簡便!!想用C#寫看看類似的好了!! 10/16 21:57