メニーコア計算機向けのビッグデータ並列処理方式

2018-05-12| Category: 3d-model, product| website: https://www.themefisher.com
work-single-image

メニーコア計算機向けのビッグデータ並列処理方式

数十〜数百台規模のCPUコア数を持つメニーコア計算機が利用可能となってきました。ハードウェア環境は整ってきたものの,メニーコアを効率的に活用するプログラミングは未だ発展途上段階にあります。本研究では,メモリ上に構築したB+木が,バランス性を保ちながらメモリ空間を分割し,さらに葉ノードが双方向リンクしている性質を利用します。各コアがB+木構造によってデータを保持し,最小化された同期オーバヘッドで高効率にマージすることにより高並列計算をする手法を開発しています。

Parallel big-data parallel parallel processing for many-core processors

Many-core computers with a few tens to hundreds of CPU-cores have become available. Although the hardware environment has been in place, programming to efficiently use the many core is still in the development stage. In this research, a B+ tree built on memory divides the memory space while maintaining balance, and also utilizes the property that leaf nodes are bi-directionally linked. We have developed a method for highly parallel computing by each core holding data by B+ tree structure and merging highly efficiently with minimized synchronization overhead.

Papers

  1. 天沼 駿亮,鷹野 駿介,加藤 和彦,阿部 洋丈.メニーコアマシン環境における並列B木マージを利用したビッグデータ処理方式の検討.日本ソフトウェア科学会第32回大会,2015年9月.PDF