Отправка MPI для пользовательских сериализованных объектов (более общий код)

user1221647 спросил: 28 марта 2018 в 04:00 в: c++

Вопрос

Я пытаюсь найти правильный способ отправки пользовательских сериализованных объектов (не настраиваемых структур MPI - см. определение ниже) через MPI. После чтения нескольких материалов и stackoverflow у меня есть пример working, который использует boost::serialization и отправляет сериализованные объекты в виде stringstream. Однако мое текущее решение выглядит немного hackish, см. Снимок ниже (полный код добавлен в конце раздела).

Мой вопрос: Можете ли вы высказать мнение о текущем решении и порекомендовать какой-нибудь промышленный способ отправки пользовательских сериализованных объектов?

.

Ограничение : К сожалению boost.mpi не является параметром из-за его зависимости от openmpi, который имеет связанную с TCP ошибку в моей инфраструктуре ubuntu-xenial. Я использую только чистый mpich.

Пользовательское определение объекта

Пользовательский объект: В моем примере Пользовательский объект сериализует класс base, std::vector, boost::shared_ptr и некоторые другие простые переменные.

Отправка / Rcv snapshot

Это небольшой снимок программы о том, как я отправляю / получаю поток.

 if (rank == 1) {
        std::stringstream mystream;
        //...more serialization code here        int len = mystream.str().size();
        MPI_Send( &len, 1, MPI_INT, 1, lentag, MPI_COMM_WORLD );
        MPI_Send( (void *)mystream.str().c_str(), len, MPI_BYTE, 1, datatag, MPI_COMM_WORLD );} else if (rank == 1) {
        int len;
        MPI_Recv( &len, 1, MPI_INT, 0, lentag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);        char data[len+1];
        MPI_Recv( data, len, MPI_BYTE, 0, datatag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
        data[len] = '\0';        std::stringstream mystream;
        mystream.write((const char*) data, len);        //...more deserialization code here
}

Выход программы

Это выход программы. Вы можете видеть, что данные успешно переданы из rank 0 в rank 1.

$ mpirun.mpich -np 2 ./mpidata 
Rank 0 sum in 6
Rank 0 vsize out 4
Rank 0 ptr out 30Rank 1 sum in 6
Rank 1 vsize in 4
Rank 1 ptr in 30

Полный код MPI Send / Rcv

Полный код приведен ниже.

#include <mpi.h>
#include <iostream>
#include <sstream>
#include <vector>#include <boost/archive/binary_oarchive.hpp>
#include <boost/archive/binary_iarchive.hpp>
#include <boost/serialization/base_object.hpp>
#include <boost/serialization/shared_ptr.hpp>
#include <boost/serialization/vector.hpp>
#include <boost/serialization/string.hpp>
#include <boost/shared_ptr.hpp>
#include <boost/make_shared.hpp>// Forward declaration of class boost::serialization::access
namespace boost {
namespace serialization {
class access;
}
}class Obj {
public:
    // Serialization expects the object to have a default constructor
    Obj() : d1_(-1), d2_(-2) {}
    Obj(int d1, int d2) : d1_(d1), d2_(d2) {}
    bool operator==(const Obj& o) const {
        return d1_ == o.d1_ && d2_ == o.d2_;
    }    const int sum() const {return d1_+d2_;}
private:
    int d1_;
    int d2_;    // Allow serialization to access non-public data members.
    friend class boost::serialization::access;    template<typename Archive>
    void serialize(Archive& ar, const unsigned version) {
        ar & d1_ & d2_; // Simply serialize the data members of Obj
    }
};class ObjChild : public Obj {private:
    typedef Obj _Super;public:
    ObjChild() : Obj(),d1_(-1),dv_{1,2},iptr_(new Obj()) {}
    ObjChild(
            int d1,
            int d2,
            int d1new,
            std::vector<int> const& dv,
            boost::shared_ptr<Obj> const& obj
            ) : Obj(d1,d2),d1_(d1new),dv_(dv),iptr_(obj) {}    const int sum2() const {return d1_ + sum();}
    const int vsize() const {return dv_.size();}
    const int ptrsum() const {return iptr_->sum();}private:
    int d1_; // Another d1_
    std::vector<int> dv_;
    boost::shared_ptr<Obj> iptr_;    // -------------------------------------------------------------
    friend class boost::serialization::access;    template <typename Archive>
    void serialize(Archive& ar, const unsigned version) {
        ar & boost::serialization::base_object<_Super>(*this);
        ar & d1_;
        ar & dv_;
        ar & iptr_;
    }
    // -------------------------------------------------------------
};int main(int argc,char** argv) {    int size, rank;    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);    if (size < 2) {
        if (rank == 0)
            std::cerr << "Require at least 2 tasks" << std::endl;
        MPI_Abort(MPI_COMM_WORLD, 1);
    }   const int lentag=0;
   const int datatag=1;
   if (rank == 0) {        std::stringstream mystream;        ObjChild obj(1,3,2,{1,2,3,4},boost::make_shared<Obj>(10,20));        boost::archive::binary_oarchive oarchive{mystream};
        oarchive << obj;        std::cout<<"Rank "<< rank << " sum in " << obj.sum2() << std::endl;
        std::cout<<"Rank "<< rank << " vsize out " << obj.vsize() << std::endl;
        std::cout<<"Rank "<< rank << " ptr out " << obj.ptrsum() << std::endl;        int len = mystream.str().size();
        // Send length, then data
        MPI_Send( &len, 1, MPI_INT, 1, lentag, MPI_COMM_WORLD );
        MPI_Send( (void *)mystream.str().c_str(), len, MPI_BYTE, 1, datatag, MPI_COMM_WORLD );        } else if (rank == 1) {
            int len;
            MPI_Recv( &len, 1, MPI_INT, 0, lentag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);            char data[len+1];
            MPI_Recv( data, len, MPI_BYTE, 0, datatag, MPI_COMM_WORLD, MPI_STATUS_IGNORE);
            data[len] = '\0';            std::stringstream mystream;
            mystream.write((const char*) data, len);            boost::archive::binary_iarchive iarchive(mystream);            ObjChild obj;            iarchive >> obj;            std::cout<<"Rank "<< rank << " sum in "<< obj.sum2() << std::endl;
            std::cout<<"Rank "<< rank << " vsize in " << obj.vsize() << std::endl;
            std::cout<<"Rank "<< rank << " ptr in " << obj.ptrsum() <<         std::endl;        }        MPI_Finalize();
        return EXIT_SUCCESS;
}

1 ответ

Zulan ответил: 28 марта 2018 в 07:11

Если вы все равно используете Boost.Serialization, то абсолютно разумно использовать Boost.MPI. Это в основном скроет весь шаблон сериализации от коммуникационной части и будет выглядеть следующим образом:

  boost::mpi::environment env;
  boost::mpi::communicator world;
  auto rank = world.rank();  if (world.size() < 2) {
    if (rank == 0)
      std::cerr << "Require at least 2 tasks" << std::endl;
    MPI_Abort(MPI_COMM_WORLD, 1);
  }  const int datatag = 1;
  if (rank == 0) {
    ObjChild obj(1, 3, 2, {1, 2, 3, 4}, boost::make_shared<Obj>(10, 20));    std::cout << "Rank " << rank << " sum in " << obj.sum2() << std::endl;
    std::cout << "Rank " << rank << " vsize out " << obj.vsize() << std::endl;
    std::cout << "Rank " << rank << " ptr out " << obj.ptrsum() << std::endl;    world.send(1, datatag, obj);
  } else if (rank == 1) {
    ObjChild obj;
    world.recv(0, datatag, obj);    std::cout << "Rank " << rank << " sum in " << obj.sum2() << std::endl;
    std::cout << "Rank " << rank << " vsize in " << obj.vsize() << std::endl;
    std::cout << "Rank " << rank << " ptr in " << obj.ptrsum() << std::endl;
  }

Некоторые типы, такие как POD, могут выиграть от дополнительного указания is_mpi_datatype, но не подходит из-за указателя.

К сожалению, несмотря на хорошую репутацию Boost, Boost.MPI, похоже, почти не поддерживается, поскольку фундаментальные проблемы не решаются и даже не обсуждаются. Будьте особенно осторожны с неблокирующей связью сериализованных объектов. Поэтому я не могу рекомендовать Boost.MPI для производственного кода, если вы не хотите вкладывать средства в исправление ошибок самостоятельно. Что, вероятно, все еще лучше, чем строить его самостоятельно с нуля. Также обратите внимание, что сериализация, особенно реализация Boost, довольно медленная и может не подходить для определенных случаев использования HPC, где было бы лучше спроектировать макет памяти, чтобы вначале не требовалась сериализация или сложная упаковка.

David Daverio ответил: 28 марта 2018 в 12:09
Я бы никогда не рекомендовал использовать boost.mpi. Проблема хуже, чем поддержание проблемы. boost.mpi не поддерживается сборщиками ... вам определенно нужно портативное решение от кластера к кластеру ... Так что жесткое кодирование - лучший способ (на мой взгляд).
Zulan ответил: 29 марта 2018 в 06:07
Вы можете запускать программы в зависимости от Boost.MPI на различных системах HPC - если это даже цель. Если зависимость от Boost.Serialization уже существует, аргумент еще слабее. Пользователь 1221647 должен взвесить профессионала минусы использования Boost.MPI. Как я уже писал, у меня есть своя доля проблем с Boost.MPI.
David Daverio ответил: 29 марта 2018 в 12:20
Мне так и не удалось заставить его работать на Cray :-(.
user1221647 ответил: 29 марта 2018 в 03:59
@Зулан спасибо за ответ. Мои извинения, не говоря уже о том, что я не могу запустить boost.mpi из-за некоторой ошибки openmpi. Я использую только чистый MPICH. Я хотел бы попробовать исправить openmpi + boost.mpi и повторить вашу рекомендацию.
user1221647 ответил: 29 марта 2018 в 04:02
В случае, когда boost.mpi не вариант, вы имеете в виду другие альтернативы?