作者jians (jian)
看板Ajax
標題[問題]利用jQuery抓取網頁原始碼
時間Fri May 29 22:33:14 2009
請問如何利用jQuery使client自己本身去抓取指定網頁的原始碼(例如指定去抓Yahoo)
然後再將抓到的原始碼存入伺服端PHP變數中！
因為如果使用PHP的函數去抓取指定網頁的話！
因為都是使用伺服端IP去抓，所以一定會被那個網站給封殺（鎖IP）
不過根據瞭解jQuery有辦法達到這個目的
所以想請教各位高手們！請問哪裡有我說的這種效果的範例？
或是有高手可以指點指點小弟我的：）
整個功能就像是
http://imgs.ck101.com/?wretch這個網站一樣
利用client作為白手套來抓取原始碼然後加以利用！
有請高手指點：）
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 59.127.64.178
1F：推 cloudccw:你上面不是問過了 java-script不能cross-domain抓東西 05/29 23:28
2F：→ cloudccw:一個是你用php當跳板抓 另一個是你要抓的站有支援 05/29 23:29
3F：→ cloudccw:回傳json 你才能用jquery接 05/29 23:30
4F：→ cloudccw:我想到的 要cross-domain只有這兩種方法 05/29 23:32
5F：推 chph:你給的網站是用後端抓的 05/30 00:58
6F：→ jians:謝謝兩位大大的解答：） 05/30 04:16
7F：→ jians:但是如果他們是用後端抓，那...怎麼可能不被無名封鎖呢？ 05/30 04:17
8F：推 wa120:因為後端抓的原理 就跟使用者在看網頁的道裡一樣阿XD 05/30 10:59
9F：→ jians:不解！可以麻煩解說的詳細點嗎：） 05/30 11:10
10F：推 wa120:客戶端在看網頁 看的還不是"按右鍵檢視原始碼"的那些字串處 05/30 11:45
11F：→ wa120:裡的結果 php用curl就可以做到 05/30 11:45
12F：→ jians:我的主要用意是使用客戶端IP連結！否則瀏覽頻繁會被鎖IP：） 05/30 12:05
13F：→ Kelunyang:那你還是寫一個Windows Form程式吧XD 05/30 13:01
14F：→ Kelunyang:或者你在後端機器上頻繁的換proxy不就好了XDDDDDD 05/30 13:02
15F：→ jians:這太麻煩了ＸＤ所以才想找這種方法！ 05/30 13:07
16F：推 Kelunyang:寫一個shell script叫他換不就好了（誤 05/30 13:09
17F：推 chph:只有用程式在短時間內大量存取才會被拒絕服務 05/30 13:32
18F：→ chph:等你碰到這問題才來解決不遲, 大可不必剛開始就用複雜的方法 05/30 13:33
19F：→ jians:我的網頁設計用途上確實會有這個問題...（做大的話）Orz" 05/30 13:33
20F：→ jians:實不相瞞！我程式我本身已經用PHP函數設計完了！ 05/30 13:34
21F：→ jians:可是最近都碰到伺服器被鎖IP所以才再找替代方式的ＸＤ 05/30 13:35
22F：→ jians:所以簡單來說！問題我已經遇到了Orz" 05/30 13:36
23F：推 wa120:我寫這個自己有將它做成網頁cache XD 05/30 14:55
24F：→ wa120:只要不要太頻繁就好了 05/30 14:55
25F：→ jians:我的難做cache，因為每次要取得的東西都不一樣！ 05/30 18:24
26F：推 Kelunyang:可不可以拉長你的存取時間？ 05/30 22:02
27F：→ jians:如果是上網尖峰時段我就無法避免了… 05/31 00:13
28F：→ TonyQ:那你需要的是多個proxy輪著用... 05/31 00:23
29F：推 chph:如果你流量很大, 怎麼不乾脆找無名合作? 05/31 00:39
30F：→ jians:找無名合作＝叫我找死 ＸＤ 05/31 01:49
31F：→ jians:proxy我有想過！只是想看看有沒有更好的！目前應該沒希望了 05/31 01:50
32F：→ tka:有考慮用tor來做嗎？ 方法越來越邪惡了 XD 05/31 02:16
33F：→ tka:不過這東西叫使用者裝greasemonkey然後你放script應該也可以吧 05/31 02:18
34F：→ jians:HAHA!我還是想找方便使用者使用的方法! 05/31 10:54
35F：→ Kelunyang:對使用者本來就很方便啊，他們又看不到後端 05/31 11:09
36F：→ Kelunyang:喔greasemonkey時在太不普及了XD 05/31 11:10
37F：→ jians:其實我是在架某部落格的音樂語法產生器！我架設好一陣了！ 05/31 11:31
38F：→ jians:經常遇到被這個某部落格短暫鎖IP(999) 05/31 11:32
39F：→ jians:以方便免安裝為原則,而且對象都是不懂語法的… 05/31 11:33