2025-W10-03¶

Review¶

入门了 Agent/RAG，读了 smolagent 和 openmanus 的源码。
读了 LangChain 的博客和一些文档
重构实验室的代码，已经一个文件 1000+ 行，不是很好维护了。
搭建了 cursor Cheat Sheet，尝试大量使用 agent 进行工作。帮助同学几个小时内从零搭出一个可用的 RAG based on LLM。
尝试用 Lagrange.onebot 搭建一个 QQ bot, 但是失败了。不是很懂 go / Java / C# 这边的东西，也许之后有空去学学框架。
使用了 zotero Cheat Sheet，很好的同步。
尝试使用之前放弃的 RSS，筛选信息输入，防止信息过载。
看了一段时间的面经，东西很多，很多不会的。
- 接下来打算学学 RL 方面的东西
  - 大概会先看一些技术文章
  - 读 openRLHF 源码
  - 复现一个 reasoning model
- 自己实现 LLM 全流程 dataset preprocess -> pretrain -> posttrain -> application
- 总结自己的知识体系，学习各大模型的区别和技术文档，GPT / Bert -> Qwen / LLaMA / Coder -> DeepSeek V3 -> DeepSeek R1 / o1
- 学习量化等 infra 方面的东西，先了解了解。
- 优先级比较低的：
  - 总结 RAG / Agent 方向资料，写一些教程，出一个项目。
  - 总结实现过的小玩意，写点文档进行封装。
公开课没怎么看，之前本来要刷的 net 和 DB 更是一点没时间推进。

Next Week Plan¶

上课 / 实验室 / 其他
好像要写个 GSoC 的 proposal，再看看再说。
继续读读 smolagent 源码，提取优点，同时自己做一些优化和想法试验
- 读 agent / RAG 论文
- 熟悉 claude / openai api 调用

THOUGHTS¶

自己最近还是太摆烂了。被学校的东西拖的没时间搞自己的东西。总的来说还是自己难以 plan -> do。比如说学术写作，自己就一直拖着不想去做，然后又不怎么去干别的事情。一方面实验室这边确实感觉做的活不是很 solid，提不起兴趣，另一方面最近作息也不是很好 -> 便很多时候难以利用所有时间。当然不是说要分毫必争 , 只是说这样就会觉得自己状态不好，然后整体利用率就一直下滑。根本原因还是作息的问题。
虽然确实有很多很多没学的，但自己也一点危机感没有，平日里搞搞这个，看看那个。在过一个多月这个学期就结束了，总不能什么都没干吧。最好等 summer 之前能抽空把 hot 100 写了。
真有那么多时间吗？🤕
Agent 估计 25 年还是可以发展不少的。
- 小模型的逐渐成熟，使得调用成本下降。 -> 试错成本下降
- 基本的 reasoning 功能逐渐成熟 -> planning
- MCP 协议逐渐普及 -> tool calling 逐渐强大，其实主要也就是 database / web server / terminal
- 不过感觉 memory 还有待做文章，现在的 long-term memory 和 shot-term memory 感觉并不是那么好。
- 以及很多用户体验上都需要改进，fallback，幻觉如何解决，主动向用户提问以获得更多信息，web server 时候的技巧，防止 RAG retrieval 得到 shit data 污染对话，传统的关键词索引和 embedding 的平衡，定期自动任务实现（不依赖硬编码 workflow）