作者pl132 (pl132)
看板Python
標題[問題]有辦法解決index太多無法存入pdframe嗎?
時間Fri May 13 18:30:40 2022
各位版上大大好
小弟最近在學習大數據分類
有個資料集我在使用Groudby分類之後出現雙重索引,在我使用pivot function把兩個索引
一個變index一個變column的時候會跳錯
由於小弟才疏學淺,一直找不到解法,不知道各位大大有遇過這樣的經驗嗎?
下面是錯誤訊息:
RuntimeWarning: overflow encountered in long_scalars num_cells = num_rows *
num_columns Exception "unhandled IndexError" index 1579266012 is out of
bounds for axis 0 with size 1579249988
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.1.144 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1652437842.A.CED.html
1F：推 lycantrope: 別pivot, 資料重複會缺損都會error 05/13 19:01
但是我用以下方式也是跳錯
two_level_index_series = df.set_index(["姓名", "科目"])["分數"]
都會跳出索引不夠....series的時候就不會跳錯= =
※ 編輯: pl132 (180.177.1.144 臺灣), 05/13/2022 19:04:30
※ 編輯: pl132 (180.177.1.144 臺灣), 05/13/2022 19:05:03
2F：推 lycantrope: 都可以完整讀取dataframe怎麼會索引不夠. 05/13 19:10
※ 編輯: pl132 (180.177.1.144 臺灣), 05/13/2022 19:57:16
#df3.pivot(index='User-ID', columns='ISBN', values='Book-Rating')
我是下了這行要再轉到新的pdframe就跳錯
※ 編輯: pl132 (180.177.1.144 臺灣), 05/13/2022 19:57:51
3F：→ polom: 先downcast一下 05/13 23:25
4F：推 lycantrope: 問A答B，這麼執著用pivot...也只能祝福了 05/14 00:26
我只是說那兩個方法都會類似錯誤啦= =我倒沒有一定要用pivot
※ 編輯: pl132 (180.177.1.144 臺灣), 05/14/2022 16:59:56