Database 板


LINE

試試看... Select t1.DataID, IsNull(t1.Value1,t2.Value1), IsNull(t1.Value2, t2.Value2) From Temp1 t1 Join Temp2 t2 on t1.DataID = t2.DataID ※ 引述《Eleganse (王建民)》之銘言: : 各位大大好,我先將專案目前的情況與遇到的難題簡述如下。 : 我使用的是Microsoft SQL : 有一個資料表(Table.Data),每隔數日必須接收數億筆數據資料。 : 它的欄位可以下方表示。 : =============================================== : Table.Data 共三欄 : 欄位名 Col.DataID Col.Value1 Col.Value2 : 型態 int float float : =============================================== : 又Value1與Value2 的數據來源為不同儀器,因此資料集的初始狀態如下(示例) : (實際上是14欄共14種儀器) : ==================================== : Table.Temp1(暫存表格) : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL : 2 0.000002 NULL : ... ... ... : (數億筆) : ==================================== : ==================================== : Table.Temp2(暫存表格) : Col.DataID Col.Value1 Col.Value2 : 1 NULL 0.999999 : 2 NULL 0.999998 : ... ... ... : (數億筆但筆數會與Temp1相同) : ==================================== : 前提是我已運用1.Comparision(壓縮方法) : 2.資料表分割方法 : 3.建立索引 : 建立此表(Table.Data), : 我打算不管裡面的數據資料成長得多大,都放在同一張表格裡, : 以便於查詢與後續數據分析工作。 : 首先遇到的第一個難題,是如何在原本已有數十億筆資料的表格中, : "非常有效率地"再插入數億筆資料? : 我想到sqlbulkcopy方法,但bcp方法的限制為,"原先的表格必須是空的", : 所以我想到一個解決方法: : 就是先建立一個暫存表格存最新數據,再將舊表與暫存表格合併起來, : 但是表格的合併問題讓我很苦惱, : 我查了union與join兩種方法, : union方法會讓數據集變成下面的長相 : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL : 1 NULL 0.999999 : 2 0.000002 NULL : 2 NULL 0.999998 : 而full join方法會讓數據集 : Col.DataID Col.Value1 Col.Value2 Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL 1 NULL 0.999999 : 2 0.000002 NULL 2 NULL 0.999998 : 兩種都不是我要的 : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 0.999999 : 2 0.000002 0.999998 : 最終長相。 : 所以可否請教各位大大 : 1.用什麼TQL指令的結合,可以正確生成我要的最終表格樣貌? : 2.回歸本問題的前點,我硬將數十億筆資料塞進一張表中, : 會不會造成什麼無法預期的後果?(在我已經將該表效率最佳化的情況下) : 3.回歸到本問題的初始狀態,是否有其它通行的解決方法, : 可以解決"在數十億筆資料中再插入數億筆資料"的存取效率方法? --



※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 203.158.41.245







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:BabyMother站內搜尋

TOP