/home/zeta/.vscode-server/cli/servers/Stable-cd4ee3b1c348a13bafd8f9ad8060705f6d4b9cba 问题描述 通过 vscode ssh 远程转发的服务器时，多次需要输入密码重新登录，无法登录。但正常ssh是可以连接服务器的。 vscode 中查看 output 显示是访问某个文件时一直超时。 出现问题的原因 目前看来是连接服务器时意外断网，之后的连接都会发生这样的问题。我使用的服务器都是离线服务器，通过vpn转发到目标服务器的。可能一些状态没有有效保持到服务器上导致的。 解决方法 vscode...

个人接触的最多其实是CUDA，但因为最近工作需要用到MPI，又重新对MPI有了新的认识。 本篇内容简单介绍MPI，并阐述mpicc、mpich等各种mpi的关系 什么MPI MPI 实际上是 计算编程模型 + 通信语义接口规范 MPI 是一个并行编程标准，它既定义了模型，也定义了协议；并由多个实现完成实际运行支持。 关于 mpi 与 openmp 与 cuda cuda就不用多说了，深度学习离不开cuda；gpt3.5问世之后 nvidia 市价更是狂涨 一开始总是分不清openmp 与 openmpi 的关系，有一段时间以为是同一个...

官方ide对代码补全和提示，库有什么方法，怎么用都很难看出来 在本地搭建开发环境 github nncase 例子 社区 文档 WSL 2 -...

没想到开个摄像头开了我两天时间 ... 调试摄像头功能出bug，如下： reset 后，计算机识别不了设备 启动 sensor sensor.run() 后大概率崩掉 写入不了 main.py 调试过程 初始测试验证 官方demo都跑不起来？ 官方示例代码 import time, os, sys from media.sensor import * from media.display import * from media.media import * sensor = Sens...

试了十几种方法，图片都没能靠左，哈气了 唯一真神！ div块 + 设置 float + clear: both </div...

首次在Transformer中引入MoE架构的研究 Scaling Giant Models with Conditional Computation and Automatic Sharding 600b parameters model be trained on 2048 TPU v3 accelerators in 4 days 首次推出600b的大模型（deepseek-v3 671b，虽然架构有些不同），但在当时没受到多少关注 文章重点在分布式并行训练框架上（google经典推自己框架） 当...

原本计划在6月整个智能网关， 正巧，收到了嘉楠的 K230 K230 官方社区 基础参数 参数表 集成了 KPU 和 VPU，看来定位是CV方向的AI板，突然有不少 idea 想尝试一下. 外观 ...

MoE在自然语言处理中的开端 (Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer)[https://arxiv.org/abs/1701.06538] 背景： 学术界都在卷RNN，当时比较火的应该是LSTM，google这篇论文首次将参数规模扩大到137B这个级别，在当时也是十分惊人的 文中提出的挑战: GPU不擅长逻辑运算，需要在gate上有所设计 （lstm也不是if...else实现啊） 条件计算减少了网络中条件活动块的批量大小 网络带宽问题 需要...

学习： https://github.com/chenzomi12/AISystem 没想到最早在90年代就提出了 核心思想： 设计多个独立（Experts）网络模块，处理数据中不同的子集 由门控网络选择模块 2017年，最早使用MoE思想结合LSTM设计了当时最大的模型 （确实能和GRU、LSTM联系） 当时还是 RNN 时代，将MoE用在了双层RNN上 核心思想： 通过路由只激活少数的 Exper...

在一些离线环境中，可能无法直接使用 pip 安装 Python 包。为了解决这个问题，可以通过 pip download 在联网环境中预先下载所需的包，并将这些包转移到目标离线环境进行安装。本文将介绍如何使用 pip download 下载 Python 包，并将其存储到指定目录，以便在离线环境中使用。 1. pypi下载whl 只安装特定版本的 Python 包，且依赖较少 (pypi)[https://pypi.org/ ] 2. 使用 pip download 下载包 推荐方法 `pip downl...