自从Deepseek横空出世以来，人们会情不自禁地拿Deepseek和ChatGPT作比较。看两者到底有何不同。

那么在模型架构和工资机制比较上，有一个术语，非常不容易理解，就是ChatGPT的Transformer模型架构中的

有人质疑、嘲讽和挖苦我先前一篇短文说的神经网络大量计算就是矩阵乘法、大模型就是统计模型，但又不提供具体的反例证据，那我就借用别人总结的大模型核心算法-自注意力机制图（类似的图网上有很多）简单解释回应一下：

图中的方块都表示为矩阵，Q、K、V都是X矩阵和相应的权重矩阵相乘而来，再经过Q、K矩阵相乘，归一化处理得到P矩阵，最后P、V矩阵相乘，得到注意力得分矩阵。是否多数时间在进行矩阵乘法运算？

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

要说Transformer的核心亮点，当然是注意力机制

——1——

文章信息

《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》，收录于国际人工智能会议（AAAI-2019），作者是北京交通大学的郭晟楠，宋超，冯宁，以及林友芳、万怀宇老师。

论文下载地址：
https://aaai.org/ojs/index.php/AAAI/article/download/3881/3759

近日，清华大学团队打造了首个用于推理加速的微缩版 FP4 注意力机制——SageAttention3，在英伟达 RTX5090 上实现了 1038TOPS 的计算性能。

转自 新机器视觉

单例模式是 Java 中最简单的设计模式之一，它是指一个类在运行期间始终只有一个实例，我们就把它称之为单例模式。它不但被应用在实际的工作中，而且还是面试中最常考的题目之一。通过单例模式我们可以知道此人的编程风格，以及对于基础知识的掌握是否牢固。

我们本课时讲的是，单例的实现方式有几种？它们有什么优缺点？

典型回答

单例的实现分为饿汉模式和懒汉模式。

1什么是内存池

1.1池化技术

所谓“池化技术”，就是程序先向系统申请过量的资源，然后自己管理，以备不时之需。之所以要申请过 量的资源，是因为每次申请该资源都有较大的开销，不如提前申请好了，这样使用时就会变得非常快 捷，大大提高程序运行效率。 在计算机中，有很多使用“池”这种技术的地方，除了内存池，还有连接池、线程池、对象池等。以服务 器上的线程池为例，它的主要思想是：先启动若干数量的线程，让它们处于睡眠状态，当接收到客户端 的请求时，唤醒池中某个睡眠的线程，让它来处理客户端的请求，当处理完这个请求，线程又进入睡眠 状态。

一、什么是单例？

1.单例：一个对象；

单：一个

例：实例(对象)

2.有些类，在整个应用程序运行期间，只需要一个对象；这个类就可以设计为"单例模式"