文章资讯

• 互联网资讯(3100)
• 娱乐头条(399)
• 教育考试(249)
• 幽默笑话(13)
• 美图合集(14)
• 站长资讯(9010)
• 电商资讯(229)
• 网站建设(74)
• 网站运营(202)
• 推广杂谈(550)

文章资讯

• 可解释性论文阅读笔记2-Leveraging Language Models

  ACL2019的一篇文章，主要亮点是利用预训练语言模型中的丰富信息生成解释，辅助CQA(Commonsense Question Answer)任务，对比CQA的the state of the art baseline，提升了10%的准确率，文章的链接如下：https://www.aclweb.org/anthology/P19-1487/Explain Yourself! Leveraging

  2022-04-12

• 逆向而行，中文轻量级预训练模型的探索之路

  Overview自Bert诞生以来，预训练模型在NLP领域掀起来一股新的浪潮。无数相关的工作被大家所创造。无论是XLNet还是ERNIE，亦或者是去年沸沸扬扬的Roberta，模型大多是朝着“越来越大”这样的一条路上一去不复返。然而在“越来越大”这股裹挟着大量模型的道路上，依然有着一小撮人选择逆向而行——限制模型大小以得到更小，更快，但是性能却并不减弱的模型。已经有相当多的人在这个方向上加以探索，

  2022-04-12

• 最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响!

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.关于机器学习方法，可以参阅如下文章：①“机器学习方法出现在AER,JPE,QJE等顶刊上了！”，②前沿:机器学习在金融和能源经济领域的应用分类总结，③文本分析的步骤,工具,途径和可视化如何做？④文本大数据分析在经

  2022-04-12

• 数学之美中盛赞的 Michael Collins 教授，他的NLP课程要不要收藏？

  在我读书的时候，最早是从谷歌黑板报中吴军老师的《数学之美》里了解到 Michael Collins 教授的，在“数学之美 系列十五 繁与简 自然语言处理的几位精英”，是这样描述他的：柯林斯：追求完美柯林斯从师于自然语言处理大师马库斯 (Mitch Marcus)（我们以后还会多次提到马库斯），从宾夕法利亚大学获得博士学位，现任麻省理工学院 (MIT) 副教授（别看他是副教授，他的水平在当今自然语言

  2022-04-12

• 神器! 统计和金融计算器, 词云和情感分析器强大到无敌！

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.之前，我们引荐过①找合适的英文期刊发表的神器!亲测太好用了！②神器!SSCI分区及影响因子查询,还有国人发表比例，③学术神器Endnote的最详尽使用方法，④一数学神器诞生!手写公式和符号,竟免费转成LaTex，

  2022-04-12

• 厉害了！今日头条的"Zhang*"竟然在Top5刊发文了, 字节跳动在经济学家中火了！

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.在2020年05月最新一期的TOP5期刊之一的Econometrica上出现了Bytedance的身影。作者分别为ShaoweiKe,密歇根大学助理教授和QiZhang,字节跳动科技公司。《随机化与模糊厌恶》摘要

  2022-04-12

• transformer-XL与XLNet笔记

  基于transformer-XL的XLNet是目前在BERT基础上改动较大的后起之秀。在超长文本的场景下，XLNet相比其他bert系列的模型会有更好的性能(recurrent机制使其可捕获更长的上下文依赖关系)以及更快的训练与推理速度(memory单元中缓存了之前(一个或多个)段的隐状态信息，避免了重复计算)，且在一般长度的文本场景中会有更完整的语义信息(PLM考虑了被mask的token间的联

  2022-04-11

• 机器翻译中的强化学习：优点、缺点以及不足

  本文译自 RL in NMT: The Good, the Bad and the Ugly，作者是海德堡大学的 PhD Julia Kreutzer，翻译已获得作者授权，并且她欢迎大家对文章提出反馈，可以邮件和她交流（PS：作者非常 nice）。在这篇文章中，我会向大家介绍在神经机器翻译（NMT）中使用强化学习（RL）的三个方面：优点：能够和传统的极大似然估计（MLE）方法结合缺点：需要使用一些

  2022-04-11

• 大幅减少GPU显存占用：可逆残差网络The Reversible Residual Network

  前序：　　Google AI最新出品的论文Reformer 在ICLR 2020会议上获得高分，论文中对当前暴热的Transformer做两点革新：一个是局部敏感哈希(LSH)；一个是可逆残差网络代替标准残差网络。本文主要介绍变革的第二部分，可逆残差网络。先从神经网络的反向传播讲起，然后是标准残差网络，最后自然过渡到可逆残差网络。读完本文相信你会对神经网络的架构发展有一个非常清晰的认识。一、背景介

  2022-04-11

• 站在BERT肩膀上的NLP新秀们（PART I）

  写在前面去年NLP领域最火的莫过于BERT了，得益于数据规模和计算力的提升，BERT在大会规模语料上预训练（Masked Language Model + Next Sentence Prediction）之后可以很好地从训练语料中捕获丰富的语义信息，对各项任务疯狂屠榜。我们在对BERT进行微调之后可以很好地适用到自己的任务上，具体可以参考之前一篇BERT简单应用：BERT模型实战之多文本分类（附

  2022-04-11