字节跳动 大模型应用开发 面试

微信用户_5412

日常实习时间：65min      
1.自我介绍
2.拷打第一个项目：MinerU解析出的Markdown如果遇到跨页的复杂长表格，如何做语义合并的？你的混合检索里，BM25是在全文上做还是在MinerU提取的特定Key-Value字段上做？Ragas评测中，如果检索精度高但答案相关性低，最可能的瓶颈在哪？
3.拷打第二个项目：LangGraph的状态对象怎么设计的，如何避免在多轮迭代中State序列化变得过于缓慢？长期记忆的压缩触发条件是什么？是基于Token阈值还是基于语义重要性？你的安全护栏讲一下？
4.在RAG中，递归字符切片相比固定长度切片优势在哪？
5.如果要实现只在特定分类的文档中进行检索，在Milvus中是使用多个Collection效率高，还是使用分区效率高？
6.什么是Agent的反思机制，对于你的心理咨询Agent，有没有让模型在回答前先检查一遍自己的语气是否专业？
7.工业图纸识别如果大模型出现了幻觉，你在Prompt层面或后处理层面有什么方法？
8.介绍一下Function Call原理，模型生成的JSON如何通过逻辑触发表层代码执行并返回给模型？
9.vLLM的PagedAttention原理？
10.在使用FastAPI开发大模型接口时，中间件和依赖注入分别适合处理什么样的业务逻辑？
11.Python的multiprocessing和threading你会如何结合使用来提高整体吞吐量？
12.asyncio.gather和asyncio.as_completed在并发请求多个模型接口时有什么区别？如果其中一个接口超时，如何做降级？
13.如果用户的Prompt特别长，导致上下文窗口溢出，除了截断，你有哪些简化上下文的策略？
14.了解目前主流的MultiAgent框架吗？如果将你的心理咨询Agent拆分，你认为状态同步的难点在哪？
15.谈谈对A2A通信的理解。在A2A场景下，如何防止两个Agent陷入递归对话？
16.手撕：实现LRU缓存机制，有时间复杂度要求
17.反问

微信用户_5412

一面：
1.了解DeepSeek-R1吗?介绍一下?
2.R1的MLA是如何实现KV-Cache的节约?
3.R1在SFT时冷启动的目的?
4.位置编码是什么?解释ROPE?
5.一个14B的模型，推理和训练要多少显存?
6.显存的占用和哪些因素相关?
7.大模型灾难性遗忘是什么?如何解决?
8.BF16、 FP16、FP32对比。
9.Adam, AdamW原理。
10.deepspeed的三个阶段。

微信用户_5412

1.上来依旧是自我介绍流程，不过这个面试官人还怪好，我一共写了三个项目，他说写在最后的一定是不熟的，所以最后一个项目少问几个问题
2.讲一下Qwen架构
3.层归一化和RMS归一化的区别
4.lora 是怎么节省显存的
5.然后当场给了个场景，让我分别计算了一下全参和lora分别占多少显存
6.讲一下RAG
7.自注意力公式，为什么除根号dk
8.线性回归的损失函数是什么？逻辑回归的损失函数是什么？
9.逻辑回归损失函数为什么不能是MSE
10.softmax不同类别样本数量极不平衡时怎么办？
11.手撕了一个二分查找的题

微信用户_5412

字节大模型应用开发实习一面
1.实习拷打
2.拷打第一个项目
3.拷打第二个项目
4.在RAG中，递归字符切片相比固定长度切片优势在哪？
5.如果要实现只在特定分类的文档中进行检索，在Milvus中是使用多个Collection效率高，还是使用分区效率高？
6.什么是Agent的反思机制，对于你的心理咨询Agent，有没有让模型在回答前先检查一遍自己的语气是否专业？
7.工业图纸识别如果大模型出现了幻觉，你在Prompt层面或后处理层面有什么方法？
8.介绍一下Function Call原理，模型生成的JSON如何通过逻辑触发表层代码执行并返回给模型？
9.vLLM的PagedAttention原理？
10.在使用FastAPI开发大模型接口时，中间件和依赖注入分别适合处理什么样的业务逻辑？
11.Python的multiprocessing和threading你会如何结合使用来提高整体吞吐量？
12.asyncio.gather和asyncio.as_completed在并发请求多个模型接口时有什么区别？如果其中一个接口超时，如何做降级？
13.如果用户的Prompt特别长，导致上下文窗口溢出，除了截断，你有哪些简化上下文的策略？
14.了解目前主流的MultiAgent框架吗？如果将你的心理咨询Agent拆分，你认为状态同步的难点在哪？
15.谈谈对A2A通信的理解。在A2A场景下，如何防止两个Agent陷入递归对话？
16.手撕：实现LRU缓存机制，有时间复杂度要求