ChatGPT后NLP工程师的竞争力是啥？

对于开放域这一块对话，ChatGPT这些模型的确做的挺好了，但是对于垂域，ChatGPT相关模型目前的性能达到使用级别还是有比较多的问题。下面将从研究和应用的角度来分析。

研究层面：

（1）如何解决知识的记忆和存储。目前采用的知识的记忆和存储是基于历史对话数据的向量化存储，这种方式是比较简单和粗暴的，类比于人的知识存储方式，不具备知识存储的高效性和知识关联性；

（2）知识幻觉问题。知识幻觉是LLMs大规模使用的拦路虎，尤其对回复信息要求比较严格的行业，如金融、保险等领域；

（3）prompt自动化生成技术研究。如何根据用户问题和一些背景信息，可以自动生成合理的prompt，具有比较大的现实意义；

（4）大模型轻量化问题。如何将大模型通过技术手段将其能力迁移到小模型上，实现小资源实现大模型的能力；

（5）推理效率问题。这一块跟（4）有一定的关联性，模型越大，计算的复杂度越高，推理耗时越长，如何优化推理效率将是一个重要研究方向；

（5）突破现有的transformer架构，研究出新的GPT架构。

应用层面：

（1）NLP能力LLMs化。对于很多NLP能力，由于LLMs表现超强的语义表达能力，可以基于LLMs重构现有的能力；

（2）LLMs与业务的结合。根据业务需要，运用LLMs快速验证可行性，同时参与这一块功能AI能力设计；

（3）精通prompt project。prompt project看似比较简单，但实际运用起来还是有较多技巧，如何巧妙地设计prompt非常重要的；

（4）基于LLMs的 fine-tune。每个公司都有自己的业务场景，这也决定通用的LLMs只能解决部分业务需求，很多还需要通过一定的技术手段实现LLMs与公司业务的适配；

（5）高效运用LLMs各种插件的能力