Posts 生成式AI的崛起16:初試 LangChain + RAG + Gemini
Post
Cancel

生成式AI的崛起16:初試 LangChain + RAG + Gemini

今天是ChatGPT诞生第 433

LangChain 终于在2024年1月5号发布了稳定版本 0.1.0。这个在去年 ChatGPT 出现之后蓬勃兴起的开源社区,在过去不到一年的时间里发展速度可谓是一日千里,至今已收获7万6千颗 🌟。虽然核心组件还是Agent, Chain 和 PromptTemplate, 但在此基础上丰富了各种 LLM 接口,包括 OpenAI, HuggingFace Llama2 等等,甚至包含了 RESTful API (LangServe) 框架和 Observability(LangSmith) 组件,使其真正的成为了一个生态,而不只是一个 Library 或者是 Framework。 和 LLM 开发相关的服务组件,如模型、向量数据库、输入输出等等,都不约而同的推出了 LangChain 的 PythonJavascript 开发包,使 LLM 的开发者能够非常容易的将各种组件加入到 LLM 的开发应用中。

去年LangChain 刚出来的时候就非常看好TA, 有博客为证 !!

另外一个消息是在2月1日,谷歌正式将 Gemini Pro 植入了 Bard 当中,而且有消息称以后 Bard 这个名字也将会被 Gemini 取代,日后还会将目前最强的 Gemini Ultra 应用到 Bard 上。如果 Ultra 真的有像发布会宣称的那么强大,那以后的大模型应用将会再上一个台阶

既然有了这么多更新,那么就上手操作一下来试试将 LangChain 结合 Gemini Pro 会出现什么结果。

首先是因为最近刚读完一本小说《冬泳》,豆瓣评分高8分。读完觉得有点意思,所以想写一篇读后博客。我试了一下直接调用 Bard,也能帮我生成一个版本。初看一下,写的乏善可陈,而且也有挺多一眼就能看出来的编造的内容,比如在介绍里面几个小故事的主要内容的时候明显都不多。这也是通用大模型最主要的问题,就是 AI 幻觉。

直接问 Bard 的生成結果

冬泳:一场关于东北往事的残酷史诗

《冬泳》是作家班宇的代表作之一,收录了七篇短篇小说,以1990年代的沈阳铁西区为背景,讲述了一群被时代洪流裹挟的底层人物的悲欢离合。

书名《冬泳》看似简单,却蕴含着深刻的寓意。冬泳是一项极具挑战性的运动,需要强大的意志力和勇气。在冰天雪地的环境中,下水游泳,不仅是对身体的考验,更是对精神的历练。而书中的主人公们,无一不是在生活的寒冬中挣扎求生的“冬泳者”。

小说集中的每一篇故事都像是一幅幅生动的画卷,描绘着东北往事的残酷与荒诞。在《盘锦豹子》中,曾经叱咤风云的摔跤运动员,如今只能靠在街头卖艺为生。在《肃杀》中,两个失业工人为了讨薪,与工厂领导展开了殊死搏斗。在《冬泳》中,主人公“我”在冬泳的过程中,回忆起童年好友的意外离世,感慨人生的无常。

班宇的笔触冷峻而犀利,毫不避讳地展现了社会底层的阴暗面。他笔下的人物,大多生活在社会边缘,被贫穷、疾病、暴力等问题所困扰。他们卑微、渺小,却又不失善良和尊严。他们在生活的重压下苦苦挣扎,却始终无法逃脱命运的枷锁。

《冬泳》不仅是一部现实主义力作,更是一部充满悲悯情怀的人文之作。班宇对底层人物的深切同情和理解,跃然纸上。他用细腻的笔触,刻画了这些普通人的喜怒哀乐,展现了他们对美好生活的渴望和追求。

读完《冬泳》,我仿佛置身于那个充满变革和动荡的年代,感受到了底层人民的艰辛和不易。这本书不仅让我对东北往事有了更深刻的了解,也让我对人性和命运有了更深层的思考。

推荐理由
  • 如果你对东北往事感兴趣,想要了解那个时代的社会变迁和底层人民的生活状况,那么《冬泳》是一部不容错过的作品。
  • 如果你喜欢现实主义题材的小说,想要感受文学作品的现实力量,那么《冬泳》也是一个很好的选择。
  • 如果你对人性和命运有着深刻的思考,想要在阅读中获得精神上的启迪,那么《冬泳》或许能给你带来一些新的感触。
总结

《冬泳》是一部具有重要文学价值的作品,它不仅反映了社会现实,也展现了人性光辉。如果你正在寻找一本书来丰富你的阅读体验,那么《冬泳》值得你一读。

所以要解决 AI 幻觉的问题,除了可以针对特定领域训练自己的小模型之外,对于个人开发者就可以选择用 RAG(retrieval-augmented generation) 来通过离线数据生成结果,再结合严格的 Prompt,最大程度的减少 AI 幻觉。

RAG 的机制可以参看以下图片:

整个做法可以分以下几个步骤:

  1. 先从网上直接获取《冬泳》的基本信息,包括作者,出版时间,简介等等,保存成文档,可以是 Markdown 或者 JSON
  2. 将和《冬泳》相关的评论也下载然后保存成文件。
  3. 通过对应的 loader 将内容导入,并分割成不同的 chunk , 然后存入 FAISS 向量数据库
  4. 调用向量数据库的 as_retriever 方法获得 retriever
  5. 编写好 PromptTemplate, 并且在里面指定 contextretriever , 传入 LCEL 生成结果。

以下就是通过这种方式获得的书评博客:

自我感觉在内容可靠性上提升了非常多,但是在文章长度上还是没有达到我想要的期望,只生成了600字左右。书评模板是在 Prompt 里面指定的,里面用到了 LangGPT 里面推荐的一些格式化 Prompt ,效果能达到,特别是 emoji 的生成效果出乎我意料。

用 Gemeni Pro + RAG 生成的书评文章

[书籍]:冬泳 [作者] : 班宇 [时间] : 2018年9月 [出版社] : 上海三联书店 [简介] : 《冬泳》是班宇的第六部长篇小说,也是他迄今为止最受关注的作品。小说讲述了一段发生在东北小城的故事,主人公“我”在一次相亲中认识了隋菲。隋菲有一个前夫,还有一个女儿。前夫是流氓,不让隋菲见女儿,还常常骚扰隋菲。隋菲一直怀疑,闹离婚的时候,自己父亲在一条水渠里的“意外死亡”就是前夫造成的。

阅读感受

《冬泳》是一本非常好的小说,它以一种幽默、生动的方式讲述了一个关于爱情、亲情和友情的感人故事。小说中的每一个人物都刻画得十分生动形象,让人印象深刻。

小说的主人公“我”是一个东北小城的青年,他憨厚老实,对爱情和亲情都很忠诚。他在一次相亲中认识了隋菲,并对她一见钟情。隋菲是一个离异的女人,她有一个前夫和一个女儿。前夫是一个流氓,不让隋菲见女儿,还常常骚扰隋菲。隋菲一直怀疑,闹离婚的时候,自己父亲在一条水渠里的“意外死亡”就是前夫造成的。

“我”和隋菲相恋后,他们面临着来自家庭和社会的重重压力。但他们最终克服了困难,走到了一起。小说中还穿插着“我”的童年往事和对东北小城的回忆,这些回忆既温馨又伤感。

《冬泳》是一本非常值得一读的小说,它不仅是一部好看的爱情故事,更是一部深刻反映东北小城社会现实的作品。小说的语言朴实无华,但却非常有感染力。人物的对话也非常风趣幽默,让人捧腹不已。

期待您的阅读

如果你喜欢东北文学,如果你喜欢温情的故事,如果你喜欢幽默风趣的小说,那么《冬泳》绝对是你不容错过的作品。

尝试以后觉得这套生态还是非常好用而且效果明显的。 如果有充分的数据集,Langchain + RAG 对于小的开发者来说是个不错的选择。

#ai/google/gemini

This post is licensed under CC BY 4.0 by the author.

Recent Update

    Trending Tags

    Contents

    生成式AI的崛起15:2024年会发生什么

    生成式AI的崛起17:即将告别短时“记忆”的 ChatGPT

    Trending Tags