Posts

作者提出CoT-Influx方法，一种对CoT的示例和内容进行优化从而提高LLMs推理能力的方法，其核心思想是通过剪枝最大化有效信息的输入。

介绍Tokenizer并给出代码实现

在本文，作者提出了一个新的数据集MaliciousInstruct，一种模型回答毒性评估方式，一种通过操纵解码超参数的攻击手段——generation exploitation，一种对齐策略——generation-aware alignment

本文提出了一种新的方法，全面评估大模型多个候选答案的可信度，以减轻大模型对于错误答案的过度自信。

本文所属系列为笔者学习陈天奇和J.Zico Kolter在CMU开设的Deep Learning Systems的课程笔记。

3月最新用于游戏的大模型Agent综述

Word2Vec作者Tomas Mikolov二月最新关于大模型综述

The note of the workshop from Graph Mining team at Google at the 2020 NeurIPS Conference.

这篇文章将用编码复现Transformer架构中使用的自注意力机制。

在过去CoT有两种范式，一种是Zero-shot，在问题末尾添加"Let’s think step by step"。另一种Manual CoT(Few-shot CoT)，每个例子由问题和推理链组成。第二种方法表现是否好取决于CoT写的好不好，不过这需要人手工来写。本文通过提出Auto-CoT这一方法使得Few-shot CoT可以自动生成，解放双手！

思维链(Chain of thought - CoT)在过去的实践中已经证明对提升大模型的推理能力有显著帮助。然而，目前还没有一项工作解释思维链长度与推理能力之间的关系。本文围绕这一核心问题，围绕CoT做了系统实验，并给出许多有意思和反直觉的结论。

本文揭示了大模型并不存在「涌现」，大模型的能力随着参数的增长是线性增长的。

如今AI的能力越来越强，接近甚至已经超越人类的能力，人类已经很难监督这类超人AI了。那么该如何监督比人类更强大的超人AI呢？

Heuristic shortest path algorithms

submodular and submodular optimiaztion problem

This paper explore the impact of encoding global and local graph structures using different modalities, particularly focusing on node classification tasks

提出了一种基于大模型的图引导的面向多步推理问题的推理方式。本文的主要贡献有两点：提出上述推理方式，提出允许变量定义的用于知识三元组提取的上下文学习方法

在本文,作者跟据图结构的特点提出了一种将图映射到文本空间的框架GRAPHTEXT

LLM ReAct范式，在大语言模型中结合推理和动作

过去的研究证明，人类拥有一个内部的世界模型，使人类能够模拟行动及其对世界状态的影响，以进行复杂任务的有意识的规划，包括运动控制、想象、推理和决策。而大模型只能通过自回归的方式进行推理，为此作者将强化学习和蒙特卡洛树搜索引入大模型推理

本文首次尝试使用大模型来解决图问题。在本文作者基于自然语言提出了含有千余个图基础问题的BenchMark NLGraph。作者在GPT3/4上进行实验获得了一些结论。在论文的最后，作者提出了两个可以提升大模型处理图问题的方法。

尽管在自动推理在自然文本方面取得了显著进展，但大型语言模型（LLMs）上的图推理效果依然不尽人意。在本文，作者团队进行了首次全面的研究，将图结构数据编码为文本，以供LLMs推理

大语言模型（LLM）的领军地位引发了大模型系统到底只是对海量数据进行肤浅地统计还是真正学习到了世界模型的争论。在本文，作者以llama2为实验对象，在三个空间数据集和三个时间数据集上进行了实验发现了后者存在的证据。

LLM.int8的进一步研究及Emergent feature现象

大模型量化基础知识及LLM.int8量化