RAG系统已经趋向成熟，几乎任何一个玩llm的人都知道，向量数据库，文档分割，向量文段召回，上下文学习。作者在偶然发现了这篇有趣的论文，这个LLM 打败华尔街的论文，也是基于这个系统。但是不一样的是，他们的玩法更加垂直领域，而且多次使用了LLM的 ”总结“ 功能，融合RAG系统里面去，本文的就是通过这篇论文，探索LLM-RAG的未来发展趋势。

向量数据库的存储，主要是用来存储向量，这里向量可以是任何东西。

对于leetcode 323题目，还有类似的题目。

这里说了很多我觉得是数据的偏移，然后给了许多例子，然后如何纠正，主要是关于清洗数据的一些思考。

一个高性能的深度学习库中进行了大量的字典查找、 代码执行和许多其他的Python代码。

卷积网络(cnn)是用来处理空间信息（一张图像），循环神经网络(rnn)则用来处理序列信息（一句话，一个视频的图像帧，温度的变化序列）
rnn引入了状态变量存储序列信息和当前输入，从而预测下一个输入，以此不断循环，预测整段序列信息。

具体技术来自xval：https://github.com/PolymathicAI/xVal/blob/main/xval_demo.ipynb

skip了环境准备，数据下载和数据清洗

karpathy 的300行mini-gpt

karpathy 300行实现了mini-gpt，是一个很好的学习范例。

bahdanau注意力机制的初心

本意是为了seq2seq学习而设计出的编码器解码器架构，有个弊端。
对于编码器：