Datou @Datou

jiewang.gitbook.io/chan-pin-jing-… shenzhen Joined February 2007

Tweets

29K
Followers

20K
Following

211
Likes

11K

Datou @Datou

3 hours ago

水贝真是啥都有

0 0 0 217 0

View Details

toyxyz @toyxyz3

6 hours ago

reddit.com/r/StableDiffus…

0 3 39 3K 19

0 0 0 329 0

View Details

Datou @Datou

4 hours ago

skill 为自媒体赋能

0 0 0 341 0

View Details

魔法! DeepSeekV4 上下文内存压缩到1/10! 大家都知道 DeepSeekV4 是支持1M上下文的, 而且经过了极度优化, 如果要真的用到1M上下文, 显存占用只需要10G左右, (对比之下 DeepSeek-V3.2 大概需要84G显存). 然后我刚看到了FlashMemory这个论文, 直接能把显存占用压到 1.3GB! 甚至输出效果不降反升! 哥们你骗兄弟可以, 骗自己就没意思了, 真的吗? 压缩后反而性能上升? 我赶紧看了论文细节: 咱们先复习一下传统做法: 模型每吐出一个字，都要把之前的几十万字重新看一遍(这就是全局注意力). FlashMemory 的做法是: 预测未来需要什么, 它内置了一个神经内存索引器（Neural Memory Indexer, 其实就是个小模型了），能够主动预判接下来生成内容时需要用到历史文本里的哪些片段. 然后预先准备好这些片段, 接下来只要做到命中率超高, 那么这个提升就绝对有效. 即它的假设是, KVCache里面的东西并不是生成每个字的时候全都需要的, 只需要按需提前加载即可. 很像做作业的时候, 把参考资料摊满桌子, 然后优化了一下就是把参考资料需要用到的部分直接拍照, 用的时候看照片就行了. 那么听上去很简单, 但实际的难点在于, 训练一个专用的索引器小模型, 需要把 DeepSeek-V4模型加载到显存里一起炼. 相当耗费算力. 于是这篇论文第二个亮点来了, 它搞了个解耦训练. 他们把这个索引器当成一个标准的"双编码器（Dual-encoder，类似做搜索推荐的模型）"来单独训练. 在这个过程中，根本不需要把庞大的 DeepSeek-V4 基座模型加载到显存中. 这让训练成本断崖式下降，且兼容标准的检索（Retrieval）训练框架. (简单来讲就是它是通用方法训练的, 通过query预测需要检索哪些长句子. 所以其实是个通用模型) 听上去靠谱, 那也只是显存占用少了, 怎么就性能还提高了呢? 答案是注意力降噪. 因为每次只提取和当前生成最相关的记忆块（Chunks）放入显存，模型在运算时就看不见那些无关的冗余信息了.天然地起到了一种"去噪"作用，这也是为什么显存占用少了，模型准确率反而略微提升的原因.官方测试在长文本评测集（如 LongBench-v2 等）上的准确率平均最终提升了 0.6%. (其实还有数据如何逐出显存和如何预测数据实现预加载, 这部分也很棒, 很有启发性. 建议看原论文, 篇幅原因写不下了) 论文地址: arxiv.org/abs/2606.09079 项目地址: github.com/libertywing/Fl… #FlashMemory #DeepSeekV4 #FlashMemoryDeepseekV4

16 11 141 17K 95

View Details

Datou @Datou

11 hours ago

这么说的话，生产环境中没人用裸模型，得先看“模型+harness”能解决哪种水平的问题，再看解决同样的问题需要多少金钱和时间，至于是一次搞定还是 agent 雕花，用户没那么关心。能力 sota 重要，某个能力层级内的性价比 sota 也重要。

karminski-牙医 @karminski3

12 hours ago

我的使用经验是, one-pass 能力越强(且能在较少的思考下one-pass) 模型才是SOTA的. 要用 agentic coding 才能修复第一次犯的错反而是模型拉夸的表现, 再不济也要在Interleaved thinking过程中修复. agentic coding 是用来解决工程量和运行时问题的. 不是用来修静态检查就行发现的bug的.更简单的说,

8 1 42 12K 8

3 0 8 3K 1

View Details

Datou @Datou

11 hours ago

要是从算力中心的全生命周期来看，把火箭、太阳能板的制造和发射都算上，也不一定环保。

0 0 0 486 0

View Details

Datou @Datou

12 hours ago

『太空机房的运营成本比地面低得多。不用买地，不用交电费，不用花大钱搞水冷系统——真空里散热只要对着漆黑的宇宙辐射就行』，太阳能免费但太阳能面板不免费，为了提升辐射效率还是需要液冷来展开辐射面积，机柜和机柜的互联速度也是个问题。总体来说目前还不是性价比方案，唯一的优势是不给地球升温。

林亦LYi @linyiLYi

a day ago

x.com/i/article/2064…

0 1 7 4K 2

1 0 1 1K 0

View Details

Datou @Datou

12 hours ago

@mike95271314 @_naiVe_2 理想没被处罚过

0 0 0 21 0

View Details

Datou @Datou

20 hours ago

鸭腿 12，鹅腿 24，16 块定价就买不到鹅腿😂

属鼠蜀黍 @_naiVe_2

a day ago

鹅腿阿姨： 1、“鹅腿阿姨”是商标 2、“鹅腿”仅广告创意，指阿姨日夜奔走下肢如鹅腿强壮 3、实际商品名不包含鹅，且客户“有望”获得鹅腿产品综合以上鹅腿阿姨不涉及虚假宣传，对于有组织故意、夸大、抹黑爱国劳动者的自媒体组织和果然，鹅腿阿姨保留起诉、冻结财产、未经审判251等权利！

2 2 11 3K 0

2 0 5 1K 0

View Details

Datou @Datou

13 hours ago

一些聪明逼说 agent 能力内化到模型是常识，23 年最顶级的模型还在琢磨推理增强，24 年 6 月才出现 claude3.5。 2018–2020：知识补全模型 2021–2022：指令问答模型 2022–2024：推理增强模型 2023–2024：工具增强模型 2024–2025：工作流智能体 2025–2026：策略智能体模型 2026+ ：自主体模型