非同期IO

非同期I/O (英: asynchronous I/O) とは、入出力の処理を、その要請元のプロセス・スレッドとは独立に(非同期に)行う、入出力のAPIの類型である。

非同期I/Oはほぼ必ず非ブロッキングI/O (non-blocking I/O) であるため、非常にしばしば混同されるが、同期 or 非同期と、ブロッキング or 非ブロッキングという分類は、必ずしも一致しない。POSIX環境において、O_NONBLOCKが設定されたファイル記述子に対して通常のreadやwriteを行うと非ブロッキングになるが、それは「ブロックされるようであればエラーにする」という動作になるのであって、非同期になるのではない(たいていのI/O操作はOS内のバッファなどによって、同期型のAPIでもブロックすることなく完了できることも多い)。ディスクに実際に書き込まれるまでを待つかどうか、という観点での同期・非同期もあるが、それはここで扱っているものとは別の話である(詳細は文献等の、フラグ O_DSYNC, O_DIRECT についての記述や英語版記事 en:Raw device などを参照のこと)。

非同期I/Oとは、

1. バッファの内容が、カーネル等によってコピーされるか、あるいはプログラマの責任で処理が完了するまで要求元のプロセスがそれを保持しなければならない
2. (権限違反など、即座にカーネルがエラー等にできる場合を除き)入出力の成否も、入出力を要求するシステムコールの結果としては得られず、コールバックか、別のシステムコール等で改めて得る必要がある
3. 以上のような制限の下に、入出力要求のシステムコールはブロックせず、最小限の処理ですぐに終了する

といったようなスタイルの入出力APIによるI/Oである。よって非同期I/Oが利用されるのは、「時間制約の厳しいRTOSだから」といったような理由ではない。排他制御の都合などでブロックさせられないとか、あるいは、性能上の理由ではエンタープライズ用途で欲されることもあれば、イベントドリブン型のフレームワークであるために必要であるといった場合もある。別スレッドを使うことで、プロセス内で非同期I/Oのように見せかけるライブラリ(フレームワーク)といったものもあり得る。

Linuxでは、POSIX-XSI、POSIX 1003.1bあるいはio_uringの実装が行われている。

Windowsでは、Windows NT系列 (Windows NT 3.1以降) の全てのバージョンで実装が行われている。

基本的な呼び出し方法は、以下のステップである(前提とするAPIによって異なる。ここで示すのは一例)。

1. 実行するシステムコールの内容をリンクリストで記述する。
2. リンクリストをパラメータとして、非同期システムコールを発行する(呼び出す)。
3. エラーあるいは、終了しているかどうかを、問い合わせるシステムコールを発行する。
4. 終了待ちシステムコールを発行するか、既に発行したシステムコールをキャンセルするシステムコールを発行する。

組込型RTOSやミニコンピュータでの実装は、非同期システムコール発行時に、システムサービスコールをOSの処理として行うが、UNIXやLinuxの処理では、ユーザースレッドとして処理を行っている実装が多い。

下記の例では、lio_listio(...);に続いて、aio_suspend(...);を実行しているため、実質的にwrite()と同じになる。

/* 非同期I/Oによるファイル出力の例 */
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<string.h>
#include<aio.h>
#include<sys/mman.h>
#define DATA_BUF_SIZE 4096
#define DATA_BUF_NUM 128
intmain(void)
{
intfd;
intn,status;
unsignedchar*Aio_buff[DATA_BUF_NUM];
structaiocbAiocb[DATA_BUF_NUM];
structaiocb*List[DATA_BUF_NUM];
if((fd=open("datafile",(O_CREAT|O_WRONLY),0666))<0)
{
exit(1);
}
/* リンクリストの作成 */
for(n=0;n<DATA_BUF_NUM;n++)
{
Aio_buff[n]=(unsignedchar*)memalign(sysconf(_SC_PAGESIZE),DATA_BUF_SIZE);
memset((void*)(Aio_buff[n]),n,DATA_BUF_SIZE);/* データはページ単位にnで埋めている */
Aiocb[n].aio_buf=Aio_buff[n];
Aiocb[n].aio_offset=(longlong)(DATA_BUF_SIZE*n);
Aiocb[n].aio_nbytes=(longlong)DATA_BUF_SIZE;
Aiocb[n].aio_fildes=fd;
Aiocb[n].aio_reqprio=0;
Aiocb[n].aio_lio_opcode=LIO_WRITE;
Aiocb[n].aio_sigevent.sigev_notify=SIGEV_NONE;
List[n]=&Aiocb[n];
}
/* 非同期I/Oの発行 */
lio_listio(LIO_WAIT,(structaiocb**)&List[0],DATA_BUF_NUM,&sig);
/******/
/* この間ファイル出力と並行して、別の処理を記述できる */
/******/
/* 非同期I/Oの終了待ち */
aio_suspend((conststructaiocb**)&List[0],DATA_BUF_NUM,&timeout);
/* エラーステータスの確認 */
for(n=0;n<DATA_BUF_NUM;n++)
{
status=aio_error(&(Aiocb[n]));
if(status)printf("%d is error %d:%s\n",n,status,strerror(status));
}
/* 終了ステータスの確認 */
for(n=0;n<DATA_BUF_NUM;n++)
{
status=aio_return(&(Aiocb[n]));
if(status!=DATA_BUF_SIZE)printf("%d is write error\n",n);
}
close(fd);
return0;
}

Microsoft Windows環境では、Windows NT 3.1以降の全てのディスクI/O、Winsock (バージョン2.0以降) などのWindows APIに非同期バージョンの関数がいくつか用意されている。例えばReadFileやWriteFile APIは、OVERLAPPED構造体に非同期I/Oのための現在のコンテキストを保持し、結果を待機するためのカーネルシグナルオブジェクトを指定することができる。

より高度な実装を行う場合は、これらのシグナルオブジェクトとスレッドを動的に管理する「I/O完了ポート」を利用し、最適なワーカースレッド数の制御とI/OオフロードをAPIレベルで実現できる。

コールバックなどを利用した非同期I/Oの結果の取得は、設計やプログラミングが煩雑になる。特に出力よりも入力で問題が大きい^{[要説明 ]}。非同期I/Oに限った話ではないが、一般的な非同期処理を記述する「非同期プログラミング」^{[1] [2]} を容易にするために、ライブラリや言語構文によるサポートが用意されているプログラミング環境もある。

ライブラリによるサポートは、例えばJava 1.5にて標準化されたFuture や、C++11にて標準化されたstd::async/std::futureなどがあり、これらはスレッドベースのFutureを実現する。.NET Framework/.NET CoreではC#などの.NET言語から利用可能なタスク並列ライブラリ (英語版) (Task Parallel Library, TPL) が、またMicrosoft Visual C++の同時実行ランタイムではC++から利用可能な並列パターンライブラリ (英語版) (Parallel Patterns Library, PPL) が用意されている^[3] 。さらにこれらを発展させたものとして、C# 5.0/VB.NET 11以降や、Python 3.5以降にはasync/await構文が用意されている。なお、F#には非同期ワークフロー (asynchronous workflow) と呼ばれる、TPLとは異なる独自のインフラを利用した非同期プログラミングのための機能が備わっている。C++ではC++20にてco_await構文が標準化された^[4] 。

JavaScriptはシングルスレッドで動作するため、非同期プログラミングはイベント駆動ベースの疑似的な手法に頼らざるを得なかったが、Web Workerによってマルチスレッドプログラミングがサポートされるようになった(Web Workerのスレッドではメモリ空間を共有せず、実際にはメッセージベースのマルチプロセスプログラミングとなる)。そのほか、ECMAScript 2015 (ES2015) ではPromiseが、ES2017ではasync/await構文が標準化された。

• スレッド (コンピュータ)
• コールバック (情報工学)

• 情報処理
• 入出力

• 出典を必要とする記事/2017年2月
• 独自研究の除去が必要な記事/2019年3月
• 説明が求められている文章がある記事
• すべてのスタブ記事
• コンピュータ関連のスタブ項目