LLM大模型的能做的事,是否都可以分成几个小模型分别做?

并非全部任务都可以用小模型替代,这取决于任务复杂度。以下是我们做过的 llm 拆分成部分小模型的例子:

一个表格问答任务,用户对某表格数据进行简单提问,机器需要根据表格进行解答。该任务可以用一套 pipeline 完成:

  1. 用户提问,这个表格有多少行?

  2. llm 进行 text2sql: select count(*) from mytable;

  3. 再数据库执行以上 sql 语句

  4. llm 根据观测结果,进行总结并返回结果: 这个表格一共 66 行。

可以将步骤2中的 llm 替换为 text2sql 小模型,可以将步骤 4 替换为 summary 模型。



蓝海大脑 京ICP备18017748号-1