站长资讯

• 互联网资讯(3100)
• 娱乐头条(399)
• 教育考试(249)
• 幽默笑话(13)
• 美图合集(14)
• 站长资讯(9010)
• 电商资讯(229)
• 网站建设(74)
• 网站运营(202)
• 推广杂谈(550)

站长资讯

• 模型压缩实践系列之——layer dropout

  本文算是一篇论文实践小总结，篇幅不大，主要是最近开始在研究模型的压缩工作，看了一些论文，感觉这块内容实践工程的部分很多，因此记录一下，防止忘记。本次研究重点在于结构性剪枝，并选取了比较简单的layer dropout来实践验证其有效性。参考论文：Reducing Transformer Depth on Demand with Structured Dropoutlayer dropout思想概述

  2022-04-12

• 原型与原型链

  前言网上有太多关于原型的资料，不是一上来就各种概念，让人看到摸不着头脑，就是贴各种代码，少个通俗的解释，所以才有了这一篇文章。原型用电影的例子来讲，电影的角色一般都会基于某个原型创建出来的，比如最近大火的《你好李焕英》原型就是贾玲的妈妈。在JavaScript中，万物皆对象，每个对象被创建出来都有其对应的一个原型，使对象共享原型的属性与方法，所以原型存在的意义就是解决属性与方法共享的问题，减少不必

  2022-04-12

• Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.关于机器学习在计量分析中的应用，各位学者可以参阅如下文章：1.Python中的计量回归模块及所有模块概览，2.空间计量软件代码资源集锦(Matlab/R/Python/SAS/Stata),不再因空间效应而感到孤

  2022-04-12

• 可解释性论文阅读笔记2-Leveraging Language Models

  ACL2019的一篇文章，主要亮点是利用预训练语言模型中的丰富信息生成解释，辅助CQA(Commonsense Question Answer)任务，对比CQA的the state of the art baseline，提升了10%的准确率，文章的链接如下：https://www.aclweb.org/anthology/P19-1487/Explain Yourself! Leveraging

  2022-04-12

• 逆向而行，中文轻量级预训练模型的探索之路

  Overview自Bert诞生以来，预训练模型在NLP领域掀起来一股新的浪潮。无数相关的工作被大家所创造。无论是XLNet还是ERNIE，亦或者是去年沸沸扬扬的Roberta，模型大多是朝着“越来越大”这样的一条路上一去不复返。然而在“越来越大”这股裹挟着大量模型的道路上，依然有着一小撮人选择逆向而行——限制模型大小以得到更小，更快，但是性能却并不减弱的模型。已经有相当多的人在这个方向上加以探索，

  2022-04-12

• 最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响!

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.关于机器学习方法，可以参阅如下文章：①“机器学习方法出现在AER,JPE,QJE等顶刊上了！”，②前沿:机器学习在金融和能源经济领域的应用分类总结，③文本分析的步骤,工具,途径和可视化如何做？④文本大数据分析在经

  2022-04-12

• 数学之美中盛赞的 Michael Collins 教授，他的NLP课程要不要收藏？

  在我读书的时候，最早是从谷歌黑板报中吴军老师的《数学之美》里了解到 Michael Collins 教授的，在“数学之美 系列十五 繁与简 自然语言处理的几位精英”，是这样描述他的：柯林斯：追求完美柯林斯从师于自然语言处理大师马库斯 (Mitch Marcus)（我们以后还会多次提到马库斯），从宾夕法利亚大学获得博士学位，现任麻省理工学院 (MIT) 副教授（别看他是副教授，他的水平在当今自然语言

  2022-04-12

• 神器! 统计和金融计算器, 词云和情感分析器强大到无敌！

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.之前，我们引荐过①找合适的英文期刊发表的神器!亲测太好用了！②神器!SSCI分区及影响因子查询,还有国人发表比例，③学术神器Endnote的最详尽使用方法，④一数学神器诞生!手写公式和符号,竟免费转成LaTex，

  2022-04-12

• 厉害了！今日头条的"Zhang*"竟然在Top5刊发文了, 字节跳动在经济学家中火了！

  凡是搞计量经济的，都关注这个号了稿件：econometrics666@126.com所有计量经济圈方法论丛的code程序,宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.在2020年05月最新一期的TOP5期刊之一的Econometrica上出现了Bytedance的身影。作者分别为ShaoweiKe,密歇根大学助理教授和QiZhang,字节跳动科技公司。《随机化与模糊厌恶》摘要

  2022-04-12

• transformer-XL与XLNet笔记

  基于transformer-XL的XLNet是目前在BERT基础上改动较大的后起之秀。在超长文本的场景下，XLNet相比其他bert系列的模型会有更好的性能(recurrent机制使其可捕获更长的上下文依赖关系)以及更快的训练与推理速度(memory单元中缓存了之前(一个或多个)段的隐状态信息，避免了重复计算)，且在一般长度的文本场景中会有更完整的语义信息(PLM考虑了被mask的token间的联

  2022-04-11