刚刚篮球投注app，EMNLP 2024最好论文奖崭新出炉！

5 篇中榜论文中，华东说念主学者参与三篇，诀别来自 CMU、上海交通大学、中国科学院大学等机构。

其中，Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method主要由中科院集合数据科学与技艺要点执行、中国科学院大学的学者完成。

论文一作 Weichao Zhang；通信作者郭嘉丰，现任中科院集合数据科学与技艺要点执行室常务副主任。

这项计议建议了一个新的数据集和行为，用于检测给定文本是否为 LLM 预检修数据的一部分，有助于提高 LLM 检修数据透明度。

EMNLP ’ 24 本年收录论文总计2978 篇，比客岁增长 5%，其中 2455 篇主会论说文，523 篇 workshop 论文。

除最好论文外，凸起论文也揭晓了，超半数华东说念主学者参与。

趁便提一嘴，EMNLP 2025 将于来岁 11 月 5-9 日，在中国苏州举办！

国内学者们不错搓搓手准备起来了 ~

接下来，具体康康获奖论文有哪些～

上交大 CMU 等团队获最好论文

这次共有 5 项计议效果取得 EMNLP ’ 24 最好论文奖。

1、An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance

（图像能抒发千语万言，但每个东说念主齐能倾听吗？对于图像再创造的文化联系性）

这篇来自 CMU 的论文计议了图像跨文化再创作任务。鉴于多媒体本色兴起，翻译需涵盖图像等模态，传统翻译局限于处理语音和文本中的讲话，跨文化再创作应时而生。

作者构建了三个包含 SOTA 生成模子的管说念：e2e-instruct 平直裁剪图像，cap-edit 通过字幕和 LLM 裁剪后处理图像，cap-retrieve 诈欺裁剪后的字幕检索图像，还创建了看法和应用两部分评估数据集。

隔断发现，面前图像裁剪模子均未能完成这项任务，但不错通过在轮回中诈欺 LLM 和检索器来矫正。

2、Towards Robust Speech Representation Learning for Thousands of Languages

（为数千种讲话结束慎重的语音表征学习）

这篇来自CMU、上海交大、丰田工业大学芝加哥分校的论文，先容了一种名为 XEUS 的跨讲话通用语音编码器，旨在处理多种讲话和声学环境下的语音。

计议通过整合现存数据集和新采集的数据，构建了包含 4057 种讲话、超 100 万小时数据的预检修语料库，并建议新的自监督任务（声学去混响）增强模子鲁棒性。计议隔断傲气，XEUS 在多个下贱任务中进展优异，在 ML-SUPERB 基准测试中超过了其他模子，如在多讲话自动语音识别任务中结束 SOTA，且在语音翻译、语音合成等任务中也进展出色。

该团队超半数齐是华东说念主，其中一作William Chen当今是 CMU 讲话技艺计议所的硕士生，此前取得佛罗里达大学盘算机科学和历史学学士学位。

3、Backward Lens: Projecting Language Model Gradients into the Vocabulary Space

（逆向透镜：将讲话模子梯度投射到词汇空间）

了解基于 Transformer 的讲话模子奈何学习和调用信息成为行业一个要害谋略。最近的可解释性行为将前向传递取得的权重和遮拦情景投射到模子的词汇表中，有助于揭示信息如安在讲话模子中流动。

来自以色列理工学院、特拉维夫大学的计议东说念主员将这一行为彭胀到讲话模子的后向传递和梯度。

最初讲授，梯度矩阵不错被视为前向传递和后向传递输入的低秩线性组合。然后，成就了将这些梯度投射到词汇名堂中的行为，并探索了新信息奈何存储在讲话模子神经元中的机制。

4、Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method

（大讲话模子的预检修数据检测：基于散度的校准行为）

这篇论文作者来自中科院集合数据科学与技艺要点执行、中国科学院大学、中关村执行室、阿姆斯特丹大学。

通信作者郭嘉丰，现为中国科学院盘算技艺计议所计议员、中国科学院大学讲授、北京东说念主工智能计议院计议员，中科院集合数据科学与技艺要点执行室主任。当今计议标的是信息检索 ( Neural IR ) 和当然讲话涌现的神经模子。

他们的计议旨在处理大讲话模子预检修数据检测问题，因模子成就者不肯显现检修数据细节，现存行为在判断文本是否为检修数据时存在局限。

基于这么的原因，他们建议 DC-PDD 行为，通过盘算文本的词元概率散布与词元频率散布的交叉熵（即散度）来校准词元概率，从而判断文本是否在模子预检修数据中。执行在 WikiMIA、BookMIA 和新构建的华文基准 PatentMIA 上进行，隔断傲气 DC-PDD 在大齐情况下优于基线行为，在不同模子和数据上进展更踏实。

5、CoGen: Learning from Feedback with Coupled Comprehension and Generation

（CoGen，联结涌现和生成，从响应中学习）

来自康奈尔大学的计议团队计议了讲话涌现和生成才能的耦合，建议在与用户交互中联结两者以进步性能的行为。

具体通过参考游戏场景，部署模子与东说念主类交互，采集响应信号用于检修。遴选斡旋推理和数据分享计策，如将涌现数据点调节为生成数据点。

执行隔断傲气，耦合行为使模子性能大幅进步，涌现准确率提高 19.48%，生成准确率提高 26.07%，且数据着力更高。在讲话方面，耦合系统的有用词汇加多，与东说念主类讲话更相似，词汇漂移减少。

凸起论文

再来望望凸起论文的获奖情况，这次共有 20 篇论文上榜。

GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory，香港科技大学计议团队完成，论文共统一作 Wei Fan、Haoran Li。

团队建议了一个新框架，基于情境齐全性表面来挽回大讲话模子使其允洽狡饰法律，提高其在不防备境下检测狡饰风险的才能。

Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge，南京大学团队完成，论文共统一作 Jiahuan Li、Yiqing Cao。

论文计议了大讲话模子在检修数据中存在芜杂信息时的学习倾向。

科技巨头获奖团队有微软，Learning to Retrieve Iteratively for In-Context Learning建议了一种创造性的行为，模拟险峻体裁习示例的遴荐看成马尔可夫有谋略经由。

Towards Cross-Cultural Machine Translation with Retrieval-Augmented Generation from Multilingual Knowledge Graphs，由 Adobe、苹果与罗马大学计议东说念主员斡旋完成。

论文计议并挑战了在跨文化机器翻译中翻译文化联系定名实体的传统行为。

此外值得一提的是，华东说念主学者、加州大学洛杉矶分校盘算机科学系副讲授Nanyun Peng团队这次赢麻了，她参与 / 训诫的三篇论文齐获奖了。

三项责任齐是对于评估 LLM 在创意叙事生成方面的才能，诀别为：

Measuring Psychological Depth in Language Models（测量讲话模子中的热情深度）

Do LLMs Plan Like Human Writers? Comparing Journalist Coverage of Press Releases with LLMs（大讲话模子能像东说念主类作者相似盘算吗？通过与记者对新闻稿的报说念相比来评估）

Are Large Language Models Capable of Generating Human-Level Narratives?（大讲话模子能生成东说念主类水平的讲演吗？）

以下是齐全获奖名单：

最好论文连合：

[ 1 ] https://arxiv.org/abs/2404.01247

[ 2 ] https://arxiv.org/abs/2407.00837

[ 3 ] https://arxiv.org/abs/2402.12865

[ 4 ] https://arxiv.org/abs/2409.14781

[ 5 ] https://www.arxiv.org/abs/2408.15992

参考连合：

[ 1 ] https://x.com/emnlpmeeting/status/1857176170074460260?s=46

[ 2 ] https://x.com/emnlpmeeting/status/1857173122598010918

[ 3 ] https://aclanthology.org/events/emnlp-2024/篮球投注app