分布式
云原生
Toast
螺旋折线
编程语言
BBS
遥感预处理
正则
Setup 函数的使用
web课程设计
ECDSA
同步锁
堆排序
基础语法
coinbase
控制已打开的浏览器
前后端分离酒店
网页设计与制作
普林斯顿大学
网上购书系统
MPI
2024/4/12 20:03:40
ImportError: DLL load failed while importing MPI: 找不到指定的模块
在运行下面这行python代码时会报错
from mpi4py import MPI
原因就是缺少MPI模块
解决方法如下：
1.在MPI官网下载msmpisetup.exe和msmpisdk.msi两个文件，并且安装到默认路径下 2.添加环境变量
进入“控制面板——>高级系统设置——>环境变量”…
使用MPI并行求解前缀和(prefix sum)
使用MPI并行求解前缀和(pre fixsum)
1.背景 本文介绍的并行模式是前缀和(prefixsum)，通常也叫扫描(scan)。从数学的角度看，闭扫描(inclusive scan)操作接受一个二元运算符和一个n元输入数组[x0,x1,…,xn-1]，然后返回一个输出数组：…
MPI之通信模式(标准，缓存，同步，就绪)
MPI缓冲区
由MPI自行维护的一块内存区域，也可由用户(MPI_Bsend)自行维护；发送方 维护一块发送缓冲区； 接收方 维护一块接收缓冲区。
数据收发过程： 当发送端将数据拷贝到自身的数据缓冲区后(注意这里是拷贝，即数据到…
MPI之数据打包和解包
MPI_Pack 和 MPI_Unpack 它们可以将源数据打包成二进制格式以便于传输，或者将二进制格式的数据解包成目标数据。这对函数通常用于在 MPI 应用程序中进行异构系统间的通信，即两个系统之间使用不同的二进制格式进行交互通信。
打包（序列化&…
MPI之持久化通信句柄与非持久化通信句柄
MPI_Isend & MPI_Send 创建临时通信句柄
在前面的文章中举了例子，我们使用MPI_Isend接口发送数据时，有个传出参数request，该参数是创建的通信句柄， 实际上该句柄是一个临时句柄，即只用于一次性发送数据的场景&…
多机多卡运行nccl-tests和channel获取
nccl-tests 环境1. 安装nccl2. 安装openmpi3. 单机测试4. 多机测试mpirun多机多进程多节点运行nccl-testschannel获取 环境
Ubuntu 22.04.3 LTS (GNU/Linux 5.15.0-91-generic x86_64)cuda 11.8 cudnn 8nccl 2.15.1NVIDIA GeForce RTX 4090 *2
1. 安装nccl
#查看cuda版本
nv…
mpi 计算 pi 的示例程序 MPI_Bcast MPI_Reduce
1，原理
从 0.0 到 1.0 对 4.0/(1.0x*x） 进行定积分，便得到了pi 的解析值； 2，代码
//pi_reduce.c
#include <stdio.h>#include <math.h>
#include <mpi.h>double f(double);
double f(double x)
{r…
MPI之非阻塞通信中通信完成检测接口简介
在之前的文章中，简单的写了一个非阻塞的通信代码介绍最最基本的使用：
int main(int argc, char *argv[])
{int err MPI_Init(&argc,&argv);int rank,size;MPI_Comm_rank(MPI_COMM_WORLD,&rank);MPI_Comm_size(MPI_COMM_WORLD, &size);…
【学习cmake-cookbook/chapter-03/recipe-06/cxx-example】
1、源代码： cmake-cookbook/chapter-03/recipe-06/cxx-example at master qijitao/cmake-cookbook GitHub
2、什么是MPI
它是Message Passing Inferface的缩写，它是并行编程的基础。详细教程参见：MPI 教程介绍 MPI Tutorial
MPI教程作者…
MPI Reduce and Allreduce
以下内容翻译自：MPI Reduce and Allreduce 在上一课中，我们介绍了使用MPI_Scatter和MPI_Gather执行MPI并行排序计算的应用示例。我们将通过MPI_Reduce和MPI_Allreduce进一步扩展集合通信例程。 注——本网站的所有代码均位于GitHub上。本教程的代码位于t…
MegDet 与 Synchronized BatchNorm
旷视科技（Face）的 MegDet 网络取得了 COCO 2017 Challenge 竞赛的检测项目冠军，论文 MegDet: A Large Mini-Batch Object Detector 对该检测器进行了介绍。
摘要
深度学习时代的目标检测发展——从 R-CNN、Fast/Faster R-CNN 到最近的 Mask…
MPI Broadcast and Collective Communication
以下内容翻译自：MPI Broadcast and Collective Communication
到目前为止，在MPI教程中，我们已经审视了两个进程之间的点对点通信。本课是集合通信部分的开始。集合通信是一种所有通信进程都参与其中的通信方式。在本课中，我们将讨…
MPI之MPI_Sendrecv接口以及空进程概念介绍
MPI_Sendrecv函数原型
int MPI_Sendrecv(const void *sendbuf, int sendcount, MPI_Datatype sendtype, int dest, int sendtag,void *recvbuf, int recvcount, MPI_Datatype recvtype, int source, int recvtag, MPI_Comm comm, MPI_Status *status);其中各个参数的含义如下&…
MPI全局通信之MPI_Alltoall和MPI_Alltoallv
有时候，我们的每个节点都需要向其他所有或者一部分节点发送数据，而不仅仅是根节点往其他节点发送数据，这个时候，我们就要用到全局通信。这边主要讲两个API，MPI_Alltoall和MPI_Alltoallv.
MPI_Alltoall
int MPI_Allto…
OSU Micro-Benchmarks
OSU Micro-Benchmarks编译&安装新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也…
MPI4.1文档1-MPI总览与各版本介绍
本博客参考官方文档进行介绍，全网仅此一家进行中文翻译，走过路过不要错过。
官方网址：https://www.mpi-forum.org/
参考文档：https://www.mpi-forum.org/docs/mpi-4.1/mpi41-report.pdf
引用官方4.1文档方法：
manu…
nccl 源码安装与应用示例 附源码
1， 官方下载网址 注意，本文并不使用nv预编译的包来安装，仅供参考：
NVIDIA Collective Communications Library (NCCL) | NVIDIA Developer 2，github网址 这里是nv开源的nccl源代码，功能完整，不…
并行计算之MPI简介以及基本通信案例(阻塞，非阻塞)
MPI是什么
Message Passing Interface 是一种消息传递编程模型，是这种模型的代表和事实上的标准，用于编写并行程序。主要思想是将一个程序分解为多个进程，这些进程相互通信并协作完成任务。MPI可以在多台计算机或者多个计算节点上执行&#…
MPI之MPI_SendMPI_Recv阻塞接口及参数详解
MPI简介以及阻塞非阻塞代码示例
函数原型:
MPI_Send
int MPI_Send(void *buf, int count, MPI_Datatype datatype,
int dest, int tag, MPI_Comm comm)buf：指向发送缓冲区的指针；count：发出的消息的数量（例如，整数…
windows安装MPI及python安装mpi4py
MPI（Message Passing Interface ），信息传递接口，是实现进程通讯的库，大多数时候是用于并行计算的算法设计。关于MPI的介绍可见：https://www.jianshu.com/p/ee595dd0354a
1.下载
到官网下载
2.安装&am…
MPI之虚拟进程拓扑
什么是虚拟进程拓扑
在很多并行应用进程中，进程的线性排列不能充分的反映进程间在逻辑上的通信模型，通常由问题几何和所用的算法决定，进程经常被排列成二维或者三维网络形式的拓扑模型而通常用一个图来描述逻辑进程排列，此种逻辑…
MPI 集合通信例子
Message-Passing-Interface: 是用于在分布式内存环境中为并行计算机编写可移植的代码。 我们有时候会使用mpi_send（mpi_recv）来进行点对点通信，从而实现从一个节点发送数据给另一个节点的功能。但是，有时候，我们需要…
MPI初探（原理与认识）
还是按照以前写blog的三部曲思路：先列出相应的知识要点与原理解释，再记录操作中遇到的疑惑与问题及其解答与解决方案，最后谈谈感想。
首先介绍一下MPI背景与一个简单例子
MPI全称是message passing interface，即信息传递接口&…