作者FacetheFaith ( )
看板Soft_Job
標題Fw: [問題] 如何加快搜尋效率
時間Wed Sep 20 16:12:23 2017
借助軟體版的高人氣，請教一下前輩們，小弟有一支搜尋Google Drive的程式
因為使用者通常不知道folder id，所以預設的搜尋位置是從根目錄(root)開始搜尋檔案
我採用的是深度優先搜尋法(DFS)，也就是搜尋到的檔案如果是資料夾
那麼接著就開始搜尋該資料夾下的檔案，以此類推
如果要搜尋的檔案在很前面 (不清楚一開始搜尋的資料夾是依據什麼)，
那麼該檔案就很有可能被找到
反之，就有可能回傳 HTTP 500 Internal Server Error(應該是Time out)
程式碼如下，是使用遞迴搜尋：
... 省略 ...
service = new Drive.Builder(httpTransport, JSON_FACTORY, credential)
.setApplicationName(APPLICATION_NAME).build();
System.out.println("=== Start to search ===");
long startTime = System.currentTimeMillis();
File searchResult =
recursiveSearch(folderID, searchFileName);
if (searchResult != null) {
result = searchResult.getName();
// 結束時間
long endTime = System.currentTimeMillis();
long totTime = (endTime - startTime) / 1000;
// 印出花費時間
System.out.println("花費時間:" + totTime + "秒");
}
public File
recursiveSearch(String folderID, String searchFileName) throws
IOException {
File searchResult = null;
FileList fileList = service.files().list()
.setQ("'" + folderID + "' in parents and trashed = false")
// .setSpaces("drive")
.setCorpora("user")
.setFields("nextPageToken, files(id, name, mimeType)").execute();
List<File> items = fileList.getFiles();
System.out.println("files size is " + items.size());
for (File file : items) {
if (file.getName().equals(searchFileName)) {
searchResult = file;
System.out.println(file.getName() + " is found!");
return searchResult;
} else if (file.getMimeType().equals("application/vnd.google-apps
.folder"))
{
System.out.println("recursive search");
System.out.println("file.getId() is " + file.getId());
searchResult = recursiveSearch(file.getId(), searchFileName);
} else {
System.out.println("file name is " + file.getName());
}
if (searchResult != null) {
System.out.println("Finish");
break;
}
}
return searchResult;
}
public static void main(String[] args) throws IOException {
DriveSearch driveSearch = new DriveSearch();
String result = driveSearch.fetchData("hfjBV5Z3V2c", "test.txt");
System.out.println(result);
}
在Google Drive上面的根目錄搜尋同樣檔案一下子就找到了，
所以是演算法的問題嗎？
程式該怎麼改寫才能增進搜尋效率？
謝謝！
1F：→ StarRoad: 這裡是"軟體工作"版，不是軟體版 09/20 16:15
2F：推 JameC: 你可以去Prob_Solve 問問看 09/20 16:22
3F：→ JameC: 那裡雖然冷清，但通常都會有人回答你 09/20 16:23
4F：推 sing10407: stackoverflow上應該比較容易有解答 09/20 16:34
5F：推 drajan: 建index 每一小時更新一次那個index table就好 09/20 16:37
6F：→ alog: 1. 需要建立跟維護檔案的索引表，搜尋時可以優先找索引裡的 09/20 16:51
7F：→ alog: 資料 09/20 16:51
8F：→ alog: 2. 索引表裡面可以根據一些特徵，幫他標上一些 Meta 例如： 09/20 16:54
9F：→ alog: 屬於圖片類、文件類，再根據搜尋的關鍵字特徵優先尋找特定 09/20 16:54
10F：→ alog: 類的資料 09/20 16:54
11F：→ alog: 概念大概就是這樣 剩下的你得自己去想 畢竟是維護你自己app 09/20 16:55
※ 編輯: FacetheFaith (59.124.165.65), 09/20/2017 16:58:47
12F：→ FacetheFaith: 用elasticsearch建立index效果好嗎 09/20 18:17
13F：噓 pttuser: 你可以重寫 09/20 18:29
14F：→ PUTOUCHANG: 你會自刪嗎? 09/20 18:42
15F：推 chuegou: 樓上好問題 09/20 18:53
16F：→ ChungLi5566: 我猜25號前就刪了 09/20 19:03
17F：推 blackcan: 有種手機拍電腦畫面的感覺…請用gist 09/20 19:20
19F：→ alog: 1. 如果你的服務下需要用到這樣，用 elasticsearch 可啊， 09/20 19:33
20F：→ alog: 不過要說，這東西是索引系統如果真的掛了你就當作不能恢復， 09/20 19:33
21F：→ alog: 直接重新建立 2. 你可以先用 docker 把軟體拉下來運作進行 09/20 19:33
22F：→ alog: 評估 3. 記得搜尋條件記得下好，不要讓其他 user 可以存取 09/20 19:33
23F：→ alog: 到他人的索引 這台也只能掛在後端不能對外存取 09/20 19:33
24F：→ pttworld: 我在解題版回你了 09/20 20:18
25F：噓 bakedgrass: 因為高人氣所以當作問題板不是好風氣 09/21 02:52
26F：→ iamshiao: 貼 SO 問 09/21 10:29
27F：→ THEWORLDS: GOOGLE的我寫過 他會動態改變每一次地址真的很難抓 09/22 15:11