看到下面有篇大神有讨论到这次 Dcard ML 实习作业，因为没有收到团队的具体反馈 想和大家讨论作业的状况 题目是用结构资料，包含标题、看板资讯以及1-6小时的爱心数和评论数等等 来预测发文後 24 小时的爱心数 因为当时是期中，我只大概花了五天约二十个小时来做 我的作法大致如下 首先先用 XGBoost LightGBM 把量化资料做出 baseline 但没办法处理最重要的标题资讯 所以就直接拿 Huggingface BERT 来做 直接把资料喂进去的训练是无法收敛的 後来也尝试一些 Emsemble 和 training tricks 但也都没办法收敛，甚至达不到 baseline 的效果 认为是资料量的问题 到这边没什麽特别想法就直接写报告了 我一直都主要是做 CV ，硕论跑去做 3D 对 NLP 非常不熟悉，不知道是否有漏掉关键操作 想请同有拿到作业的大神指点 谢谢 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.171.131.209 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1683998999.A.DBB.html 任务如文中所述，是回归问题，目标是文章发文後24小时的爱心数 因为有中文标题，故直觉想到就是 BERT，将中文标题 tokenize 後 连同其他 feature 一同 concatenate，送入BERT直接 end2end 训练出爱心数 不知道实验室内有没有其他效果比较好的解法？ 谢谢提供思路，但LSTM的话要如何考虑中文标题？ 一样使用word2vec或tokenizer吗？ 谢谢，确实我几乎没有做 feature engineering 是否方便请教後续是用什麽方法回归出爱心数？ 谢谢DrTech大的回复，tokenizer出来的embeddings我是有再downsampling的 当时也有考虑到这件事情，我也测试过downsample到4 - 16或其他一些奇淫巧技 也有对tokenizer做regularization等等，但对训练帮助都不大 至於标题是否影响爱心数，确实实际上不一定 但该资料集提供的特徵数很少，其余大多都是scalar 相信他们一定希望受试者去分析标题，当然处理整个标题可能不是个好办法 1-6小时爱心数与24小时爱心数的相关性非常高 故我也在BERT之中尝试建立使用这些高相关feature的MLP回归模型 以及和 XGBoost LightGBM 的 Ensemble 但对训练并无明显益处 我在写这份测验的时候，并不觉得量化结果会多好，因为仅有约五万笔资料(文章) 而同时也要展现工程能力，譬如我用 Pytorch-lightning 架构整个 training, monitoring, evaluation pipeline 实作上的能力可能会区分我与其他一部分的面试者 但结果看来可能是有大神直接干出很好的模型和训练结果 後续评分项如解题思路、报告呈现和实作能力都没有被考量了 才很好奇进入面试的大神是怎麽得出很好的预测方法的 感谢您的回覆 ※ 编辑: Sixigma (118.171.131.209 台湾), 05/14/2023 16:03:47