Mercurial > hg > Papers > 2021 > anatofuz-master
view paper/chapter/03-gears.tex @ 108:23f9d8c6d014
...
author | anatofuz <anatofuz@cr.ie.u-ryukyu.ac.jp> |
---|---|
date | Sat, 06 Feb 2021 14:09:32 +0900 |
parents | cb7fc7356561 |
children | 911bf1a2c6fa |
line wrap: on
line source
\chapter{GearsOS} GearsOSとはContinuation Based Cを用いて信頼性と拡張性の両立を目指して実装しているOSプロジェクトである。\cite{gears} CodeGearとDataGearを基本単位として実行する。 CodeGearを基本単位としているため、 各CodeGearは割り込みされず実行される必要がある。 割り込みを完全に制御することは一般的には不可能であるが、 GearsOSのメタ計算部分でこれを保証したい。 DataGearも基本単位であるため、 各CodeGearがDataGearをどのように扱っているか、書き込みをしたかはGearsOS側で保証するとしている。 GearsOSはOSとして実行する側面と、 CbCのシンタックスを拡張した言語フレームワークとしての側面がある。 GearsOSはノーマルレベルとメタレベルの分離を目指して構築しているOSである。 すべてをプログラマが純粋なCbCで記述してしまうと、 メタレベルの情報を実装しなければならず、ノーマルレベルとメタレベルの分離をした意味がなくなってしまう。 GesrsOSではユーザーが書いたノーマルレベルのコードの特定の記述や、シンタックスをもとに、メタレベルの情報を含む等価なCbCへとコンパイル時にコードを変換する。 コード変換はPerlスクリプトで行われている。 現在のGearsOSはUnixシステム上のアプリケーションとして実装されているものと、 xv6の置き換えとして実装されているもの\cite{weko_195888_1}がある。 \section{GearsOSの構成} GearsOSは様々な役割を持つCodeGearとDataGearで構成されている。 またCodeGearとDataGearのモジュール化の仕組みとしてInterfaceが導入されている。 GearsOSの構成図を図\ref{fig:gearsstruct}に示す。 中心となるMetaDataGearは以下の要素である。 \begin{itemize} \item Context \item TaskManager \item TaskQueue \item Worker \end{itemize} \begin{figure}[h] \begin{center} \includegraphics[width=150mm]{fig/gears_structure.pdf} \end{center} \caption{GearsOSの構成} \label{fig:gearsstruct} \end{figure} \section{Context} Contextとは従来のOSのプロセスに相当する概念である。 GearsOSでのデータの単位から見ると、 MetaDataGearに相当する。 Contextの概要図を図\ref{fig:context}に、実際のCbC上での定義をソースコード\ref{src:structContext}に示す。 ContextはMetaDataGearである為に、 ノーマルレベルのCodeGearからはcontextは直接参照しない。 contextの操作をしてしまうと、メタレベルとノーマルレベルの分離をした意味がなくなってしまう為である。 Contextはプロセスに相当するので、ユーザープログラムごとにCotnextが存在する。 このContextをUser Contextと呼ぶ。 さらに実行しているGPUやCPUごとにContextが必要となる。 これらはCPU Contextと呼ばれる。 GearsOSはOSであるため、全体を管理するKernelのContextも必要となる。 これはKernelContextやKContextと呼ばれる。 KContextはすべてのContextを参照する必要がある。 OSが持たなければならない割り込みのフラグなどはKContextに置かれている。 GearsOSのメタレベルのプログラミングでは、 今処理をしているContextが誰のContextであるかを強く意識する必要がある。 \lstinputlisting[label=src:structContext, caption=contextの定義]{src/structContext.h} \begin{figure}[t] \begin{center} \includegraphics[width=120mm]{drawio/context.pdf} \end{center} \caption{Contextの概要図} \label{fig:context} \end{figure} ContextはGearsOSの計算で使用されるすべてのDataGearとCodeGearを持つ。 つまりGearsOSで使われるCodeGearとDataGearは、 誰かのContextに必ず書き込まれている。 各CodeGear、DataGearはContextはそれぞれ配列形式でContextにデータを格納する場所が用意されている。 CodeGearが保存されている配列はソースコード\ref{src:structContext}の6行目で定義している\texttt{code}である。 StubCodeGearはContextのみを引数で持つため、 \texttt{\_\_code stub(struct Context*)}の様なCodeGearの関数ポインタのポインタ、つまりCodeGearの配列としての定義されている。 これは前述したStubCodeGearの関数ポインタが格納されており、 \texttt{\_\_code meta}でのディスパッチに利用される。 DataGearが保存されている配列は7行目で定義している\texttt{data}である 。 すべてのDataGearはGearsOS上では\texttt{union Data}型として取り扱えるので、 \texttt{union Data}のポインタの配列として宣言されている。 ただしGearsOSで使うすべてのDataGearがこのContextに保存されている訳ではない。 Interfaceを利用したgoto時の値の保存場所として、この配列にDataGearごと割り振られた場所にDtaGearを保存する用途で利用している。 CodeGearで利用している配列と同様に、 この配列の添え字もDataGearの番号に対応している。 DataGearは配列形式のデータ格納場所のほかに、Contextが持つヒープに保存することも可能である。 計算で必要なDataGearは、 CbCの中でアロケーションした場合はContextにヒープに書き込まれる。 ヒープにはDataGearと、書き込んだDataGearのメタ情報が記載されているMetaDataGearで構成されている。 \section{Stub Code Gear} 次のCodeGearに継続する際、ノーマルレベルから見ると次のCodeGearを直接指定しているように見える。 さらに次のCodeGearに引数などを直接渡しているようにも見える。 しかしノーマルレベルから次のCodeGearに継続する場合は関数ポインタなどが必要になるが、 これらはメタ計算に含まれる。 その為純粋にノーマルレベルからCodeGear間を自由に継続させてしまうと、 ノーマルレベルとメタレベルの分離ができなくなってしまう。 ノーマルレベルとメタレベルの分離の為に、 次のCodeGearには直接継続させず、間にMetaCodeGearをはさむようにする必要がある。 またポインタをノーマルレベルには持たせず、 継続先のCodeGearは番号を使って指定する。 CodeGear間の継続はGearsOSのビルド時にPerlスクリプトによって書き換えが行われ、MetaCodeGearを経由するように変更される。 GearsOSではDataGearはすべてContextを経由してやり取りをする。 次の継続にDataGearを渡す場合、 継続する前に一度ContextにDataGearを書き込み、 継続先でContextからDataGearを取り出す。 ContextはMetaDataGearであるために、 ノーマルレベルのCodeGearではなくMetaCodeGearで扱う必要がある。 各CodeGearの計算で必要なDataGearをContextから取り出すMetaCodeGearは、 実行したいCodeGearの直前で実行される必要がある。 このCodeGearを特にStubCodeGearと呼ぶ。 StubCodeGearはすべてのCodeGearに対して実装しなければならず、 手で実装するのは煩雑である。 StubCodeGearもGearsOSのビルド時にPerlスクリプトによって自動生成される。 ソースコード\ref{src:StackPush}に示すノーマルレベルで記述したCodeGearを、Perlスクリプトによって変換した結果をソースコード\ref{src:StackPushStub}に示す。 常に自分自身のContextをCodeGearは入力の形で受け取る為、変換後の\texttt{pushSingleLinkedStack}は、 第1引数にContextが加わっている。 pushSingleLinkedStackは引数は3つ要求していた。 これらの引数は生成された\texttt{pushSingleLinkedStack\_stub}がContextの特定の場所から取り出す。 このCodeGearはGearsOSのInterfaceを利用しており、 Stack Interaceの実装となっている。 マクロ\texttt{Gearef}は、 contextのInterface用のDataGearの置き場所にアクセスするマクロであり、 Stack Interfaceの置き場所から、引数情報を取得している。 マクロ\texttt{Gearef}の定義をソースコード\ref{src:gearef}に示す。 マクロ\texttt{Gearef}では引数で与えられたDataGearの名前を、enumを利用した番号に変換し、contextから値を取り出している。 DataGearは\texttt{enum Data}型で各DataGearの型ごとに番号が割り振られている。(ソースコード\ref{src:enumData}) \lstinputlisting[label=src:gearef, caption=Gearefマクロ]{src/gearef.h} \lstinputlisting[label=src:enumData, caption=enumDataの定義]{src/enumData.h} すべての引数を取得したのちに、\texttt{goto pushSingleLinkedStack}で、CodeGearに継続する。 \lstinputlisting[label=src:StackPush, caption=StackにPushするCodeGear]{src/StackPush.cbc} \lstinputlisting[label=src:StackPushStub, caption=\ref{src:StackPush}のStubCodeGear]{src/StackPush.c} Contextと継続の関係性を図\ref{fig:stubCodeGear}に示す。 StubCodeGearはGearsOSで定義されているノーマルレベルのCodeGearのすべてに生成される。 \begin{figure}[h] \begin{center} \includegraphics[width=160mm]{drawio/stubCodeGear.pdf} \end{center} \caption{Contextを参照したCodeGearのデータアクセス} \label{fig:stubCodeGear} \end{figure} \texttt{\_\_code meta}の定義をソースコード\ref{src:meta}に示す。 \lstinputlisting[label=src:meta, caption=\_\_code meta]{src/meta.cbc} \texttt{\_\_code meta}はContextに格納されているCodeGearの配列からCodeGearのアドレスを取得し継続する。 この際に配列の要素を特定する際に使われる添え字は、 各CodeGearに割り振られた番号を利用している。 この番号はC言語の列挙体を使用した\texttt{enum Code}型で定義されている。 \texttt{enum Code}型の定義をソースコード\ref{src:enumCode}に示す。 命名規則は\texttt{C\_CodeGearName}となっている。 \lstinputlisting[label=src:enumCode, caption=CodeGearの番号であるenumCodeの定義]{src/enumCode.h} \texttt{enum Code}型はGearsOSのコンパイル時に利用されているCodeGearを数え上げて生成される。 Contextのcode配列には、各CodeGearのStubCodeGearの関数ポインタが配置されている。 よって\texttt{\_\_code meta}から継続する先のCodeGearは、呼び出し先のCodeGearの直前に実行されるStubCodeGearになる。 CodeGearからCodeGearへの継続は、関数型プログラミングの継続先に渡すDataとCodeの組のClosureとなっている。 シンタックスでは継続の際に引数\texttt{(...)}を渡す。 これは処理系では特に使用していないキーワードであるが、 このClosureを持ち歩いていることを意識するために導入されている。 \section{TaskManager} TaskManagerはGearsOS上で実行されるTaskの管理を行う。 GearsOS上のTaskとはContextのことであり、 各Contextには自分の計算に必要なDataGearのカウンタなどが含まれている。 TaskManagerは、CodeGearの計算に必要な入力のDataGear(InputDataGear)が揃っているかの確認、揃っていなかったら待ち合わせを行う処理がある。 すべてのDataGearが揃った場合、 TaskをWorkerのQueueに通知しTaskを実行させる。 この処理はGearsOSを並列実行させる場合に必要な機能となっている。 TaskManagerは性質上シングルトンである。 その為、複数Workerを走らせた場合でも1全体で1つのみの値を持っていたいものはTaskManagerが握っている必要がある。 例えばモデル検査用の状態保存用のデータベース情報は、 TaskManagerが所有している。 \section{TaskQueue} GearsOSのTaskQueueはSynchronizedQueueで表現されている。 TaskQueueはWorkerが利用するQueueとなっている。 WorkerのQueueは、TaskManagerに接続してTaskを送信するスレッドと、 Taskを実行するWorker自身のスレッドで扱われる。 さらにWorkerが複数走る可能性もある。 その為SynchronizedQueueは、マルチスレッドでもデータの一貫性を保証する必要がある。 GearsOSではCAS(Check and Set, Compare and Swap)を利用して実装が行われている。 \section{Worker} WorkerはWorkerの初期化にスレッドを作る。 GearsOSではスレッドごとにそれぞれContextが生成される。 Workerはスレッド作製後にContextの初期化APIを呼び出し、自分のフィールドにContextのアドレスを書き込む。 スレッド作製後はTaskManagerからTaskを取得する。 TaskはContextの形で表現されているために、WorkerのContextをTaskに切り替え、 Taskの次の継続に実行する。 OutputDataGearがある場合は、Task実行後にDataGearの書き出しが行われる。 WorkerはCodeGearの前後で確実に呼び出される。 この性質を利用すると、 CodeGearの実行の前後での状態を記録することが可能である。 つまりモデル検査が可能である為、モデル検査用のWorkerを定義して入れ替えるとコードに変更を与えずに実行できる。 Worker自体はInterfaceで表現されているために、入れ替えは容易となっている。 GearsOSでは通常のWorkerとしてCPUWorkerを、GPUに関連した処理をするCUDAWorker、合間にモデル検査関連のメタ計算をはさむMCWorkerが定義されている。 \section{union Data型} CbC/GearsOSではDataGearは構造体の形で表現されていた。 すべてのDataGearを管理する、Contextは計算で使うすべてのDataGearの型定義を持っている。 各DataGearは当然ではあるが別の型である。 例えばStack DataGearとQueue DataGearは、それぞれstruct Stackとstruct Queueで表現されるが、 C言語のシステム上別の型とみなされる。 メタレベルで見れば、 この型定義は\texttt{union Data}型にすべて書かれている。 しかしContextはこれらの型をすべてDataGearとして等しく扱う必要がある。 この為にC言語の共用体を使用し、汎用的なDataGearの型であるunion Data型を定義している。 共用体とは、構成するメンバ変数で最大の型のメモリサイズと同じメモリサイズになる特徴があり、複数の異なる型をまとめて管理することができる。 構造体と違い、1度に一つの型しか使うことができない。 実際にどの型が書き込まれているかは、 Contextのどこに書き込まれているかによって確認の方法が異なる。 Interfaceの入出力で利用しているdata配列の場合は、enumの番号とdata配列の添え字が対応している。 このためenumで指定した場所に入っているunion Dataの具体的な型は、 enumと対応するDataGearになる。 contextのヒープにアロケートされたDataGearの場合は、 型情報を取得できるMetaDataGearにアクセスすると、なんの型であったかが分かる。 Contextから取り出してきたunion DataからDataGearの型への変換はメタ計算で行われる。 GearsOSの場合は、計算したいCodeGearの直前で実行されるStubCodeGearで値のキャストが行われる。 \section{Interface} GearsOSのモジュール化の仕組みとしてInterfaceがある。 InterfaceはCodeGearと各CodeGearで使う入出力のDataGearの集合である。 Interfaceに定義されているCodeGearは、各Interfaceが満たすこと期待するAPIである。 Intefaceは仕様(Interface)と、実装(Implement, Impl)を別けて記述する。 Interfaceを呼び出す場合は、Interfaceに定義されたAPIに沿ってプログラミングをすることで、Implの内容を隠蔽することができる。 これによってメタ計算部分で実装を入れ替えつつInterfaceを使用したり、 ふるまいを変更することなく具体的な処理の内容のみを変更することが容易にできる。 これはJavaのInterface、Haskellの型クラスに相当する機能である。 \subsection{Interfaceの定義} GearsOSに実装されているQueueのInterfaceの定義をソースコード\ref{src:queue}に示す。 \lstinputlisting[label=src:queue, caption=QueueのInterface]{src/queue.h} Interfaceの定義は、前半に入出力で利用するDataGearを列挙する。 ここでは\texttt{queue}と\texttt{data}を利用する。 4行目からはAPIの宣言である。 各APIはCodeGearであるので\texttt{\_\_code}で宣言する。 各CodeGearの第1引数は\texttt{Impl*}型の変数になっている。 これはInterfaceと対応するImplementのDataGearのポインタである。 Javaなどのオブジェクト指向言語ではselfやthisのキーワードで参照できるものとほぼ等しい。 Interface宣言時には具体的にどの型が来るかは不定であるため、 キーワードを利用している。 ImplはInterfaceのAPI呼び出し時に、メタレベルの処理であるStubCodeGearで自動で入力される。 その為ユーザーはInterfaceのAPIを呼び出す際は、 このImplに対応する引数は設定しない。 すなわち実際にいれるべき引数は、 Implを抜いたものになる。 第1引数にImplが来ないCodeGearとして\texttt{whenEmpty}と\texttt{next}がQueueの例で存在している。 これらはAPIの呼び出し時に継続として渡されるCodeGearであるため、 Interfaceの定義時には不定である。 その為\texttt{...}を用いて、不定なCodeGearとDataGearのClosureが来ると仮定している。 8行目で定義している\texttt{whenEmpty}はQueueの状態を確認し、空でなければ\texttt{next}、空であれば\texttt{whenEmpty}に継続する。 これらは呼び出し時にCodeGearを入力して与えることになる。 \subsection{Interfaceの呼び出し} Interfaceで定義したAPIは\texttt{interface->method}の記法で呼びだすことが可能である。 ソースコード\ref{src:queueTake}では、 Queue Interfaceのtake APIを呼び出している。 takeは\texttt{\_\_code next}を要求しているので、 CodeGearの名前を引数として渡している。 これはノーマルレベルではenumの番号として処理される。 takeは出力を1つ出すCodeGearである為、継続で渡された\texttt{odgCommitCUDAWorker4}はStubでこの出力を受け取る。 \lstinputlisting[label=src:queueTake, caption=InterfaceのAPIの呼び出し]{src/queueTake.cbc} また、Interfaceを利用する場合はソースコード中に\texttt{\#interface "interfaceName.h"}と記述する必要がある。 例えばQueueを利用する場合は\texttt{\#interface "Queue.h"}と記述しなければならない。 \texttt{\#interface}構文は、一見するとC言語のマクロの様に見える。 実際にはマクロではなく、 Perlスクリプトによってメタレベルの情報を含むCbCファイルに変換する際に、 Perlスクリプトに使っているInterfaceを教えるアノテーションの様な役割である。 Perlスクリプトによって変換時に、 \texttt{\#interface}の宣言は削除される。 \subsection{Interfaceのメタレベルの実装} Interface自身もDataGearであり、実際の定義はcontextのunion Data型に記述されている。 メタレベルではIntefaceのDataGearのGearsOS上の実装である構造体自身にアクセス可能である。 Queue Interfaceに対応する構造体の定義をソースコード\ref{src:queueStruct}に示す。 \lstinputlisting[label=src:queueStruct, caption=QueueのInterfaceに対応する構造体]{src/queueStruct.h} Interfaceの実装は、この構造体に代入されている値で表現される。 Interfaceの定義(ソースコード\ref{src:queue})と、 実際の構造体(ソースコード\ref{src:queueStruct})を見比べると、 CodeGearは\texttt{enum Code}として表現し直されている。 \texttt{enum Code}はGearsOSで使うすべてのCodeGearに割り振られた番号である。 InterfaceはAPIに対応するenum Codeに、Impl側のenumCodeを代入することで、実装を表現している。 InterfaceのImpl側のDataGearは、 各Interfaceに存在する、Interface名の最初の一文字が小文字になったunion Data型のポインタ経由で取得可能である。 \subsection{InterfaceのImplの実装} 実際にInterfaceの初期化をしている箇所を確認する。 Queue Interfaceに対応するSingleLinkedQueueの実装を\ref{src:SingleLinkedQueueOld}に示す。 \lstinputlisting[label=src:SingleLinkedQueueOld, caption=SingleLinkedQueueの実装]{src/SingleLinkedQueueOld.cbc} Interfaceの実装の場合も、 Interface呼び出しのAPIである\texttt{\#interface "Queue.h"}を記述する必要がある。 \texttt{createSingleLinkedQueue}はSingleLinkedQueueで実装したQueue Interfaceのコンストラクタである。 これは関数呼び出しで実装されており、 返り値はInterfaceのポインタである。 コンストラクタ内ではQueueおよびSingleLinkedQueueのアロケーションを行っている。 \texttt{new}演算子が使われているが、 これはGearsOSで拡張されたシンタックスの1つである。 newはGearsOSのビルド時にPerlスクリプトによって、contextが持つDataGearのヒープ領域の操作のマクロに切り替わる。 ノーマルレベルではcontextにアクセスできないので、 Javaの様なアロケーションのシンタックスを導入している。 \subsection{goto時のContextとInterfaceの関係} Interfaceはモジュール化の仕組みとしてでなく、 メタレベルでは一時的な変数の置き場所としても利用している。 ソースコード\ref{src:queueTake}で呼び出しているtakeは、 OutputDataGearがあるAPIである。 このOutputDataGearは、 context内のDataGearの置き場所であるdata配列の、 Interfaceのデータ格納場所に書き込まれる。 OutputDataGearを取得する場合は、 継続先でなく、APIのInterfaceから取得しないといけない。 また、goto文で別のCodeGearに遷移する際も、引数情報を継続先のcontextのdata配列の場所に書き込む必要がある。 この処理はメタレベルの計算であるため、 GearsOSのビルド時にPerlで変換される。 ソースコード\ref{src:takeStub}にソースコード\ref{src:queueTake}の変換結果を示す。 この例ではStubCodeGearのディスパッチを行う\texttt{\_\_code meta}へのgotoの前に、Gearefマクロを使ったcontextへの書き戻しが行われている。 GearsOSはCbCを用いて実装している為、スタックを持っていない。 その為都度データはContextに書き戻す必要があるが、データの一時保管場所としても利用されている。 \lstinputlisting[label=src:takeStub, caption=takeを呼び出す部分の変換後]{src/queueTakeStub.cbc} この性質からInterfaceには、Interfaceを実装するDataGearが持っておきたい変数はいれてはいけない。 例えばQueueの実装では先頭要素を指し示す情報が必要であるが、 これをInterface側のDataGearにしてしまうと、 呼び出し時に毎回更新されてしまう。 常に持っておきたい値は、 Impl側のDataGearの要素として定義する必要がある。 \subsection{Stack.Stack-{\textgreater}Stack.stack} Contextのデータ保管場所について確認する。 ここではソースコード\ref{src:StackStackCbC}を実行する際に、 Contextが持つ引数保管場所がどのような値になるかを見る。 \lstinputlisting[label=src:StackStackCbC, caption=Contextの引数格納用の場所の確認の例題]{src/stackStackcbc.cbc} ソースコード\ref{src:StackStack1}の1行目で作製したStackTest Interfaceのアドレスは、 3行目の出力である\texttt{0x7fff2f806b50}である。 Interfaceが持つ実装へのポインタは、 5行目の先頭のstackTestに代入されている値である\texttt{0x7fff2f806bb8}となっている。 \lstinputlisting[label=src:StackStack1, caption=gdbを使って作製したInterfaceのアドレスを確認する]{src/stackStack1.sh} ソースコード\ref{src:StackStack2}の行を実行し、 contextの引数格納用の場所にInterfaceのアドレスを書き込む。 \lstinputlisting[label=src:StackStack2, caption=contextの引数格納用の場所に代入]{src/stackStack2.sh} ソースコード\ref{src:StackStack3}では、 引数格納用の場所の値を確認する。 これはunion Data型であるので、StackTest型を指定して確認する。(4行目) 出力結果のstackTestの値は\texttt{0x7fff2f806b50}である。(4行目、8行目) この値はInterfaceのアドレスと一致している。 \lstinputlisting[label=src:StackStack3, caption=contextの引数格納用の場所の値を確認]{src/stackStack3.sh} ソースコード\ref{src:StackStack4}で続けてstackTestフィールドが指すunion DataのポインタをStackTest型として指定し値を確認する。(1行目) 2行目で表示されているstackTestフィールドの値は、StackInterfaceが持つ実装へのアドレスと一致している。 CbC上では5行目のように、ドットでフィールドを指定すると値が取れる。 \lstinputlisting[label=src:StackStack4, caption=contextのdata配列からInterfaceを取り出す]{src/stackStack4.sh} この状況を纏めると、図\ref{fig:stackstackstackstack}のようになる。 Contextの引数格納用の場所は、最初はその型のInterfaceへのポインタが、Interfaceが通常実装へのポインタを指すフィールドに書き込まれる。 これはGearsOSではStack.stack-{\textgreater}Stack.stack問題と言われている。 \begin{figure}[ht] \begin{center} \includegraphics[width=120mm]{drawio/stackstackstackstack.pdf} \end{center} \caption{Stack.stack-{\textgreater}Stack.stack} \label{fig:stackstackstackstack} \end{figure} \section{par goto} \texttt{par goto}とはGearsOSの並列処理用の構文である。 ソースコード\ref{src:twice}では、 配列を初期化するcreateArray、 配列要素を2倍するtwice、 配列の状況を出力するprintArrayを並列で動作させている。 par gotoした処理がそれぞれ終了すると、 code2に継続する。 \lstinputlisting[label=src:twice, caption=par gotoの呼び出し]{src/twiceNormal.cbc} GearsOSで並列処理をする場合、 Contextの複製などのメタレベルの計算を多数行わなければならない。 ノーマルレベルからは通常のgoto文のように記述可能な構文を導入し、 メタレベルとの分離を行っている。 メタレベルに変換された結果をソースコード\ref{src:twiceMeta}に示す。 \texttt{par goto}でCodeGearへの継続を指定すると、\texttt{par goto}の数に応じてContextが生成される。 CodeGearの実行は、割り当てられたContextが担当する。 作製されたContextは一度大本のContextのtaskフィールドにアドレスが書き込まれ、初期化が行われる。 InputDataGearとOutputDataGearのQueueの用意を行った後に、contextのTaskListにElement 各DataGearは構造体の形で表現されている。 Elementはリスト構造を作製する際に使われるデータ構造で、 次のElementを取得できる。 各CodeGearは入力のDataGearであるInputDataGearの依存関係が解決したら実行され、OutputDataGearの状況をTaskManagerに通知するようになっている。 par gotoの場合はTaskManager関係のメタ計算を挟む必要があるため、 通常のgoto metaではなく、初回はgoto parGotoMetaが実行される。 \lstinputlisting[label=src:twiceMeta, caption=par gotoのメタレベル計算]{src/twiceMeta.c} \section{GearsOSのビルドシステム} GearsOSではビルドツールにCMakeを利用している。 ビルドフローを図\ref{fig:gearsbuild1}に示す。 CMakeはautomakeなどのMakeファイルを作成するツールに相当するものである。 GearsOSでプログラミングする際は、ビルドしたいプロジェクトで利用するソースコード群をCMakeの設定ファイルであるCMakeLists.txtに記述する。 CMakeLists.txtではGearsOSのビルドに必要な一連の処理をマクロ\texttt{GearsCommand}で制御している。 このマクロにプロジェクト名を\texttt{TARGET}として、 コンパイルしたいファイルを\texttt{SOURCES}に記述する。 ソースコード\ref{src:cmakeGearsMacro}の例では\texttt{pop\_and\_push}が\texttt{TARGET}に指定されている。 なおヘッダファイルは\texttt{SOURCES}に指定する必要はなく、 自動で解決される。 CMake自身はコンパイルに必要なコマンドを実行することはなく、ビルドツールであるmakeやninja-buildに処理を移譲している。 CMakeはmakeやninja-buildが実行時に必要とするファイルであるMakefile、 build.ninjaの生成までを担当する。 \lstinputlisting[label=src:cmakeGearsMacro, caption=CMakeList.txt内でのプロジェクト定義]{src/GearsMacroCMake.txt} GearsOSのビルドでは直接CbCコンパイラがソースコードをコンパイルすることはなく、 間にPerlスクリプトが2種類実行される。 Perlスクリプトはビルド対象のGearsOSで拡張されたCbCファイルを、純粋なCbCファイルに変換する。 ほかにGearsOSで動作する例題ごとに必要な初期化関数なども生成する。 Perlスクリプトで変換されたCbCファイルなどをもとにCbCコンパイラがコンパイルを行う。 ビルドの処理は自動化されており、 CMake経由でmakeやninjaコマンドを用いてビルドする。 \begin{figure}[h] \begin{center} \includegraphics[width=150mm]{drawio/geasflow1.pdf} \end{center} \caption{GearsOSのビルドフロー} \label{fig:gearsbuild1} \end{figure} \section{GearsOSのCbCから純粋なCbCへの変換} GearsOSはCbCを拡張した言語となっている。 ただしこの拡張自体はCbCコンパイラであるgcc、 llvm/clangには搭載されていない。 その為GearsOSの拡張部分を、等価な純粋なCbCの記述に変換する必要がある。 現在のGearsOSでは、 CMakeによるコンパイル時にPerlで記述された\texttt{generate\_stub.pl}と\texttt{generate\_context.pl}の2種類のスクリプトで変換される。 これらのPerlスクリプトはプログラマが自分で動かすことはない。 Perlスクリプトの実行手順はCMakeLists.txtに記述しており、 makeやninja-buildでのビルド時に呼び出される。(ソースコード \ref{src:cmake1}) \lstinputlisting[label=src:cmake1, caption=CMakeList.txt内でのPerlの実行部分]{src/cmakefile.1.txt} \section{generate\_stub.pl} generate\_stub.plは各CbCファイルごとに呼び出される。 図\ref{fig:generate_stub_pl_1}にgenerate\_stub.plを使った処理の概要を示す。 ユーザーが記述したGearsOSのCbCファイルは、 ノーマルレベルのコードである。 generate\_stub.plは、 CbCファイルにメタレベルの情報を付け加え、GearsOSの拡張構文を取り除いた結果のCbCファイルを新たに生成する。 返還前のGearsOSのファイルの拡張子は.cbcであるが、 generate\_stub.plによって変換されると、 同名で拡張子のみ.cに切り替わったファイルが生成される。 拡張子は.cであるが、中身はCbCで記述されている。 generate\_stub.plはあるプログラムのソースコードから別のプログラムのソースコードを生成するトランスパイラとして見ることができる。 \begin{figure}[h] \begin{center} \includegraphics[width=160mm]{drawio/gears_os_build_flow.pdf} \end{center} \caption{generate\_sub.plを使ったトランスコンパイル} \label{fig:generate_stub_pl_1} \end{figure} generate\_stub.plはGearsOSのソースコードを2回読む。 1度目の読み込みは関数getDataGearが担当する。(図\ref{fig:aboutDataGear}) ソースコード中に登場するCodeGearと、CodeGearの入出力を検知する。 この際に\texttt{\#interface}構文でInterfaceの利用が確認された場合、 Interfaceの定義ファイルを開き、getDataGearをさらに呼び出す。 これらの処理で、 1つのGearsOSのファイル自身と、 呼び出しているInterfaceの定義ファイルに実装されているCodeGearとDataGearの組を取得する。 データの収集は、入力で与えられたファイルを1行ずつ読み込み、 あらかじめ設定した正規表現にパターンマッチすることで処理を行っている。 ソースコード\ref{src:generateExampleInterface}は、GearsOSのソースコード中でInterfaceの使用宣言部分のパターンマッチ処理である。 \lstinputlisting[label=src:generateExampleInterface, caption=CMakeList.txt内でのPerlの実行部分]{src/generateStubInterfaceExample.pl} ここでは使用しているInterfaceの名前を変数\texttt{\$interfaceHeader}にキャプチャし、 Interfaceの読み込み処理を8行目の\texttt{includeInterface}関数で実行している。 includeInterface関数の中ではgetDataGearを呼び出し、CodeGear、DataGearの情報を取得している。 取得した情報はgenerate\_stub.plが持つ変数に書き込まれる。 この変数は主にPerlのハッシュ(連想配列)が利用される。 \begin{figure}[h] \begin{center} \includegraphics[width=120mm]{drawio/getDataGearAbout.pdf} \end{center} \caption{getDataGearの処理の概要} \label{fig:aboutDataGear} \end{figure} 1度ファイルを完全に読み込み、 CodeGear、DataGearの情報を取得し終わると、以降はその情報をもとに変換したファイルを書き出す。 この書き出しはgenerateDataGear関数で行われる。(図\ref{fig:aboutgenerateDataGear}) ファイルを書き出す際は、 元のCbCファイルを再読み込みし、 変換する必要があるキーワードが出現するまでは、変換後のファイルに転記を行う。 例えば各CodeGearの最後に実行される\texttt{goto}文は、 GearsOSの場合はMetaCodeGearに継続するように、 対象を切り替える必要がある。 この為にgenerate\_stub.plは、goto文を検知するとcontext経由で引数のやりとりをするメタ処理を付け加える。 また、すべてのCodeGearはcontextを入力として受け取る必要があるため、 引数を書き換えてContextを付け加えている。 \begin{figure}[h] \begin{center} \includegraphics[width=130mm]{drawio/generateDataGearAbout.pdf} \end{center} \caption{generateDataGearの処理の概要} \label{fig:aboutgenerateDataGear} \end{figure} generate\_stub.plはPerlで書かれたトランスパイラであり、 C言語のコンパイラのように文字列を字句解析、構文解析をする訳ではない。 いくつかあらかじめ定義した正規表現パターンに読み込んでいるCbCファイルの行がパターンマッチされたら、 特定の処理をする様に実装されている。 CodeGearの入力をcontextから取り出すStubCodeGearの生成もgenerate\_stub.plで行う。 なおすでにStubCodeGearが実装されていた場合は、 generate\_stub.plはStubCodeGearは生成しない。 \section{generate\_context.pl} generate\_context.plは、Contextの初期化関連のファイルを生成するPerlスクリプトである。 Contextを初期化するためには、下記の処理をしなければならない。 \begin{itemize} \item CodeGearのリストにStubCodeGearのアドレスの代入 \item goto meta時に引数を格納するdata配列のアロケーション \item 計算で使用するすべてのDataGear、CodeGearに対して番号を割り振り、 enumを作製する \item コンストラクタ関数のexternの生成 \end{itemize} これらの記述は煩雑であるものの、CbCファイルとDataGearの情報が纏められたcontext.hを見れば、記述すべき内容は一意に決定でき為、自動化が可能である。 generate\_context.plは、 context.hを読み、まずDataGearの取得を行う。 CodeGearは、generate\_stub.plで変換されたCbCファイルを読み込み、 \texttt{\_\_code}があるものをCodeGearとして判断する。 また、Cの一般関数でも\texttt{create}が関数名に含まれており、 ポインタ型を返す関数はInterfaceのコンストラクタとして判断する。 これらの情報をもとに、 CodeGear、DataGearの番号を作製し、enumCode.hとenumData.hとして書き出す。 \begin{figure}[h] \begin{center} \includegraphics[width=90mm]{drawio/old_generate_context.pdf} \end{center} \caption{generate\_context.plを使ったファイル生成} \label{fig:generate_context_1} \end{figure} \section{CbC xv6} CbC xv6はGearsOSのシステムを利用してxv6 OSの置き換えを目指しているプロジェクトである。\cite{cbcxv6repo} xv6はv6 OS\cite{lions1996lions}をx86アーキテクチャ用にMITによって実装し直されたものである。 Raspberry Pi上での動作を目指しているため、 ARMアーキテクチャ用に改良されたバージョンを利用している。\cite{xv6rpi} 書き換えにおいてはビルドシステムはCMakeを利用し、 Perlクロスコンパイラを導入してたりとGearsOSのビルドシステムとほぼ同じシステムを利用している。 GearsOSを使った比較的巨大な実用的なアプリケーションであるため、 xv6の書き換えを進むに連れて様々な面で必要な機能や課題が生まれている。 従来の研究ではxv6はCMakeを使わずにMakeを用いてクロスコンパイルしていた。 現在はxv6にGearsOSのCMakeを使ったビルドシステムを導入している。 ARM用のバイナリが出力できるCbCコンパイラがある場合、x86マシンからCMakeを利用してクロスコンパイル可能となっている。 CMakeを導入したことでGearsOSの拡張構文が使えるようになった。 xv6はUNIX OSである為プロセス単位で処理を行っていたが、 ここに部分的にContextを導入した。 xv6では割り込みのフラグなどを大域変数として使っていた。 GearsOSで実装する場合はDataGear単位になるため、 これらのフラグもDataGearの形で実装し直した。 このDataGearは各プロセスに対応するContextではなく、 中心的なContextがシングルトンで持っている必要がある。 CbCxv6の実装を通してKernelの状況を記録しておくContext、つまりKernelContextが必要であることなどが判明した。 \section{ARM用ビルドシステムの作製} GearsOSをビルドする場合は、x86アーキテクチャのマシンからビルドするのが殆どである。 この場合ビルドしたバイナリはx86向けのバイナリとなる。 これはビルドをするホストマシンに導入されているCbCコンパイラがx86アーキテクチャ向けにビルドされたものである為である。 CbCコンパイラはGCCとllvm/clang上に構築した2種類が主力な処理系である。 LVM/clangの場合はLLVM側でターゲットアーキテクチャを選択することが可能である。 GCCの場合は最初からjターゲットアーキテクチャを指定してコンパイラをビルドする必要がある。 時にマシンスペックの問題などから、 別のアーキテクチャ向けのバイナリを生成したいケースがある。 教育用マイコンボードであるRaspberry Pi\cite{rpi}はARMアーキテクチャが搭載されている。 Raspberry Pi上でGearsOSのビルドをする場合、 ARM用にビルドされたCbCコンパイラが必要となる。 Raspberry Pi自体は非力なマシンであるため、 GearsOSのビルドはもとよりCbCコンパイラの構築をRaspberry Pi上でするのは困難である。 マシンスペックが高めのx86マシンからARM用のバイナリをビルドして、 Raspberry Piに転送し実行したい。 ホストマシンのアーキテクチャ以外のアーキテクチャ向けにコンパイルすることをクロスコンパイルと呼ぶ。 GearsOSはビルドツールにCMakeを利用しているので、 CMakeでクロスコンパイル可能に工夫をしなければならない。 ビルドに使用するコンパイラやリンカはCMakeが自動探索し、 決定した上でMakefileやbuild.ninjaファイルを生成する。 しかしCMakeは今ビルドしようとしている対象が、自分が動作しているアーキテクチャかそうでないか、クロスコンパイラとして使えるかなどはチェックしない。 つまりCMakeが自動でクロスコンパイル対応のGCCコンパイラを探すことはない。 その為そのままビルドするとx86用のバイナリが生成されてしまう。 CMakeを利用してクロスコンパイルする場合、CMakeの実行時に引数でクロスコンパイラを明示的に指定する必要がある。 この場合x86のマシンからARMのバイナリを出力する必要があり、 コンパイラやリンカーなどをARMのクロスコンパイル対応のものに指定する必要がある。 また、 xv6の場合はリンク時に特定のリンカスクリプトを使う必要がある。 これらのリンカスクリプトもCMake側に、 CMakeが提供しているリンカ用の特殊変数を使って自分で組み立てて渡す必要がある。 CMake側に使用したいコンパイラの情報を渡せれば、以降はCMake側が自動的に適切なビルドスクリプトを生成してくれる。 このようなCMakeの処理を手打ちで行うことは難しいので、 \texttt{pmake.pl}を作成した。 \texttt{pmake.pl}の処理の概要を図\ref{fig:pmake}に示す。 \texttt{pmake.pl}はPerlスクリプトで、 シェルコマンドを内部で実行しクロスコンパイル用のオプションを組み立てる。 \texttt{pmake.pl}を経由してCMakeを実行すると、 makeコマンドに対応するMakefile、 ninja-buildに対応するbuild.ninjaが生成される。 以降はcmakeではなくmakeなどのビルドツールがビルドを行う。 \begin{figure}[h] \begin{center} \includegraphics[width=160mm]{drawio/pmake.pdf} \end{center} \caption{pmake.plの処理フロー} \label{fig:pmake} \end{figure}