作者busystudent (busystudent)
看板Python
標題[問題] 自動載入網頁且分析問題
時間Fri Apr 1 23:19:58 2016
hi 最近寫python遇到幾個問題，想跟大家請教
1.我有一個txt檔，內有多筆網址，這是我爬蟲下來的隨機網站，如下範例
http://goo.gl/hZM42U
http://goo.gl/fjJ0lG
http://goo.gl/N9HjLw
..........................等多筆資料
我希望在下面的url中，可以自動載入上述的網址，
import xml
from __future__ import division
import nltk, re, pprint
from urllib import urlopen
url = "
http://goo.gl/hZM42U"
text = urlopen(url).read()
你可以觀察url = "
http://goo.gl/hZM42U "，這一行就可。
我想請問要如何自動把網址加入url這一行中呢?我原本是打算一次open這個txt檔，可以是馬上就出錯了，
只好一筆筆手動貼上，還請大家幫我解答，謝謝。
--
Sent from my Windows
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.110.158.25
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1459524000.A.B07.html
1F：→ busystudent: 再問個延伸問題到底要如何把 例如'aaa'這類型的物件塞進 ure = []的04/01 23:23
2F：→ busystudent: 框框裡?04/01 23:23
※ 編輯: busystudent (42.72.191.2), 04/01/2016 23:28:06
3F：推 drajan: 可以敘述得詳細點嗎？這聽起來像是ure + ['aaa']就好 04/01 23:56
4F：→ drajan: 你只要用個array塞進這些網址 然後iterate就好了 04/01 23:58
5F：→ busystudent: ok 問題點在於我有很多像是'aaa' 'bb'等 04/02 00:00
6F：→ busystudent: 的網頁，可是我不會讓這些網頁一次ㄧ個載 04/02 00:00
7F：→ busystudent: 入 04/02 00:00
8F：→ busystudent: 我希望一次再入一個網址，我後續還有分析，等run完再 04/02 00:07
9F：→ busystudent: 跑第二個。 04/02 00:07
10F：→ checkIO: For I in my list: url=i 04/02 09:48
11F：→ octantis: 看你的描述應該可以用generator, 一次跑一個網址 04/02 12:08
12F：→ octantis: 重看一次不用generator, 就用for迴圈跑就好 04/02 12:20
13F：→ MOONY135: 三樓的解應該就是正解了 04/02 13:38
14F：→ busystudent: 感謝大家的回應，謝謝 04/02 14:24
15F：→ kenduest: 題外話個人建議用 requests 取代內建那個 urllib 更好用 04/02 14:49
16F：→ kenduest: 若你用 python3 urllib 會有異動，程式碼也要改 04/02 14:50
17F：推 drajan: 又載入xml又載入re又載入nltk...你是想要擷取資訊? 可以用 04/02 16:11
18F：→ drajan: BeautifulSoup...會簡單很多 04/02 16:11