解读 | Antonio
近期，一家以色列NLP研究机构AI21 Labs开拓了一个名叫Jurassic-X的算法系统，它基于该实验室提出来的MRKL（它与miracle谐音）系统。Jurassic-X的前身是对标GPT-3的Jurassic-1，然而却战胜了它们不擅于推理、更新昂贵、不能有效处理时序数据等缺陷。
论文地址：https://arxiv.org/pdf/2204.10019.pdf
MRKL的全称是模块化推理、知识和措辞系统（Modular Reasoning, Knowledge and Language），它试图将现有的神经网络模型，如大规模措辞模型LLM，和外部知识库，以及过去盛行的符号专家系统结合在一起，从而来兼顾神经模型和符号推理能力。
这一系统是针对现有的大规模措辞模型的诸多缺陷进行的改进。在GPT-3以及Jurassic-1等大规模措辞模型进行预演习，之后运用在多个下贱任务，常常有两种极度的办法：
（1）多个任务直接通过零样本学习的办法进行。这种办法无需更新任何参数，从而担保了多功能性（versatility）；
（2）在每个任务上都对付大规模措辞模型进行微调。这种办法不仅须要大量的资源，具有很差的迁移性，还会常常导致在一个任务微调完之后，别的任务表现得很差——灾害性遗忘（catastrophic forgetting）的困境。
基于MRKL系统的Jurassic-X则紧张借鉴了类似于prompt learning的办法，来冻结大部分模型原有的参数，仅更新一部分任务干系的参数来避免上述问题。之后会对这块的方法有一个初步的先容。
同时，仅仅依赖神经措辞模型，也会有很多实质上的问题：它们对付外部知识无法高效利用，尤其对付一些时序更新的数据，例如新冠疫情最新的数据以及货币汇率等信息，它们的推理能力很弱，例如最大略的算术题（自然措辞给出的）有时候都会犯错。
举例来说：
问题：在最近的一个月里，哪一家清洁能源公司有最大的份额增长？
这是一个组合的“多专家”问题：首先模型会从例如百科库WIKI接口中获取有哪些清洁能源公司，之后它会从日历中获取上个月指的是什么时候，以及从数据库中获取相应的份额增长；之后在汇总了上述信息后，它可以通过一个打算器去打算“最大的增长”，末了通过措辞模型来给出答案。
要完成这些目标须要演习离散的专家系统，将他们的接口和神经网络之间进行平滑，并在不同的模块之间去选择等等。一些技能细节可以参考先容MRKL的文章，之后会针对个中不才游任务上的演习办法做一个简要的先容，更详细的技能细节可以参考论文。
财富杂志从商业角度剖析了MRKL以及Jurassic-X反响了当代AI的四个趋势：通用性、基于LLM、稠浊系统、减少权重演习。
MRKL致力于仅利用单一模型办理各种各样的自然措辞任务，而并不是像现阶段很多模型只能办理特定的单一任务，这是朝着通用人工智能的必经之路。例如，一个流畅的机器人对话系统不仅仅能顺畅地完成对话，还可以同时对某些话语进行情绪剖析。事实上，GPT-3等大规模模型已经显示出它的在多个任务上零样本学习的巨大潜力了，而大规模措辞模型预演习，多个任务共享该模型进行微调早已成为研究界熟习的演习范式了，商业上紧跟其后，也是预见之中。
对标GPT-3的LLM：Jurassic-1
只管基于神经模型的办法得到了令人印象深刻的性能，不过GPT-3在涉及到一些哪怕是很大略的推理时也会犯一些低级缺点，尤其涉及到比较繁芜的措辞描述，例如多个数相加；涉及到最新的，例如纽约现在的景象。它仅仅从过去演习好的数据中进行推断景象情形，难以迁移到新的场景下，而如果用更新的数据，则须要重新演习模型，而这须要巨大的代价。
不同专家系统之间的连接
因此MRKL利用了代表示代AI在商业角度下的第三个趋势——利用神经和符号结合的稠浊系统。MRKL领悟了不同的模块，有些模块利用了深度学习，有些则利用符号推理模式的专家系统，例如直接从某些数据知识库中进行检索等模块，来获取更新的信息。
MRKL中一个出色的设计被称作是路由（router）的模块，它可以根据用户的问题匹配一个专家系统：例如如果问题涉及到数学，它会转向一个打算器，如果问题涉及到汇率，它会路由到一个汇率转换器，如果是景象的话，它会转到一个景象网站等等；如果路由对付问题不愿定，它会先通过Jurassic-1等措辞模型利用高下文推断出该当转向哪个专家模块。
MRKL还采取了prompt tuning的办法对付模型的下贱任务进行更新，如上述，这种办法避免了灾害性遗忘的微调模式以及零样本学习的低性能。与传统的prompt tuning办法比较，Jurassic-X利用了更加风雅的设计:（1）依赖于模型输入的prompt学习办法。（2）检索增强的prompt天生办法。（3）递归式地运用冻结了的LM模型。论文中做了更加详细的技能先容，感兴趣的读者可以直接阅读论文。
MRKL中采取递归办法涉及prompt learning
博客中先容了几种MRKL的运用处景举例，都是一些值得关注和实用的一些话题，涉及到方方面面可能涌如今日常场景中的问题。
用人类措辞去阅读和更新数据库
问题：买玫瑰味的洗发水
Jurassic-X会从人类措辞中提取中关键信息，并从商店清单中去检索产品，加入到购物车的数据库中。这在智能助理，电子商务等都有运用前景。
对付当下问题的文本天生
问题：谁是当下的美国总统
Jurassic-X会领悟当下及时更新的外部数据库，例如维基百科去产生更及时的数据。
数学操作
问题：公司的655400份份额被94个员工均匀分配，每个员工得到多少？
Jurassic-X会通过措辞模型提出去关键信息，并且该当去探求一个“数学专家”，也便是打算器，从而得出精确结果。
组合型问题
问题：更多的人住在Tel Aviv还是Berlin？
Jurassic会将组合型问题分解为多少子问题：Tel Aviv的人口是多少？Berlin人口是多少？哪个数字更大？等，办理了每个子问题后再把它们汇总在一起。更主要的是，这样也增加了可阐明性，解释了模型给出答案的依据。
景象、汇率等动态信息
问题：100美元可以换多少摩洛哥币？
Jurassic会把措辞模型和一些及时更新的知识库领悟在一起，从而随意马虎获取到实践性敏感的动态信息。
透明性和可信性
问题：克林顿是否曾经当选过美国总统
这里涉及到Clinton的歧义问题，问题的答案取决于哪个Clinton，是Bill Clinton还是他的妻子。Jurassic-X可以做出更加明确、透明的回答，而其他神经模型则弗成。
AI21实验室位于以色列的一家自然措辞处理的研究机构；它同时也是一个商业机构，旨在将现有的NLP技能快速支配到商业运用中。创始人包括从斯坦福大学退休了的人工智能教授Yoav Shoham；一家自动驾驶公司Mobileye的创始人Amnon Shashua，以及众包平台CrowdX创始人Ori Goshen。这家公司的口号是“重构人们的读写办法，朝向更美好的未来”（reimaging the way people read and write, for the better）。
参考链接
https://fortune.com/2022/04/19/ai21-labs-mrkl-ultra-large-language-models-jurassic/
https://storage.cloud.google.com/ai21-public-data/publications/MRKL_paper.pdf
https://arxiv.org/pdf/2204.10019.pdf
