时至年末,恰逢最近圈内新闻AIGC, ChatGPT)和想法都比较多,在此小结一下。

关于科研

工作方式的转变

今年我们在实验室内组建了一个基础模型小组,因此相比之前想到哪做到哪的工作方式开始更多的考虑更long-term的研究方向,这些想法其实早在之前的回答中都提到了,如

其实熟悉我的都知道我是一个对自己要做的方向很挑剔的人(当然受限于眼光和能力不一定做的好),于是在做一个东西之前我会费比较大的力气去说服自己这个方向值得做,关于怎么分辨什么是好的方向我在今年四月份有一个在组内的分享,感兴趣的同学也可以看一下

今年(主要是上半年)我们在里面的几个方向完成了几个工作:Black-Box Tuning (ICML), BBTv2 (EMNLP), Late Prompt Tuning (EMNLP findings), Metric Fairness (EMNLP), DiffusionBERT (arxiv),还有稍早一点的ElasticBERT