33
|
1 \chapter{GearsOS}
|
|
2
|
71
|
3 GearsOSとはContinuation Based Cを用いて信頼性と拡張性の両立を目指して実装しているOSプロジェクトである。\cite{gears}
|
34
|
4 CodeGearとDataGearを基本単位として実行する。
|
65
|
5 CodeGearを基本単位としているため、 各CodeGearは割り込みされず実行される必要がある。
|
|
6 割り込みを完全に制御することは一般的には不可能であるが、 GearsOSのメタ計算部分でこれを保証したい。
|
|
7 DataGearも基本単位であるため、 各CodeGearがDataGearをどのように扱っているか、書き込みをしたかはGearsOS側で保証するとしている。
|
|
8
|
|
9
|
34
|
10 GearsOSはOSとして実行する側面と、 CbCのシンタックスを拡張した言語フレームワークとしての側面がある。
|
65
|
11 GearsOSはノーマルレベルとメタレベルの分離を目指して構築しているOSである。
|
|
12 すべてをプログラマが純粋なCbCで記述してしまうと、 メタレベルの情報を実装しなければならず、ノーマルレベルとメタレベルの分離をした意味がなくなってしまう。
|
71
|
13 GesrsOSではユーザーが書いたノーマルレベルのコードの特定の記述や、シンタックスをもとに、メタレベルの情報を含む等価なCbCへとコンパイル時にコードを変換する。
|
|
14 コード変換はPerlスクリプトで行われている。
|
34
|
15
|
57
|
16 現在のGearsOSはUnixシステム上のアプリケーションとして実装されているものと、 xv6の置き換えとして実装されているもの\cite{weko_195888_1}がある。
|
67
|
17
|
|
18 \section{GearsOSの構成}
|
|
19
|
68
|
20 GearsOSは様々な役割を持つCodeGearとDataGearで構成されている。
|
71
|
21 またCodeGearとDataGearのモジュール化の仕組みとしてInterfaceが導入されている。
|
68
|
22 GearsOSの構成図を図\ref{fig:gearsstruct}に示す。
|
70
|
23 中心となるMetaDataGearは以下の要素である。
|
|
24
|
|
25 \begin{itemize}
|
|
26 \item Context
|
|
27 \item TaskManager
|
|
28 \item TaskQueue
|
|
29 \item Worker
|
|
30 \end{itemize}
|
68
|
31
|
67
|
32 \begin{figure}[h]
|
|
33 \begin{center}
|
|
34 \includegraphics[width=150mm]{fig/gears_structure.pdf}
|
|
35 \end{center}
|
|
36 \caption{GearsOSの構成}
|
|
37 \label{fig:gearsstruct}
|
|
38 \end{figure}
|
|
39
|
60
|
40 \section{Context}
|
|
41 Contextとは従来のOSのプロセスに相当する概念である。
|
61
|
42 GearsOSでのデータの単位から見ると、 MetaDataGearに相当する。
|
71
|
43 Contextの概要図を図\ref{fig:context}に、実際のCbC上での定義をソースコード\ref{src:structContext}に示す。
|
61
|
44
|
70
|
45 ContextはMetaDataGearである為に、 ノーマルレベルのCodeGearからはcontextは直接参照しない。
|
|
46 contextの操作をしてしまうと、メタレベルとノーマルレベルの分離をした意味がなくなってしまう為である。
|
69
|
47
|
66
|
48 Contextはプロセスに相当するので、ユーザープログラムごとにCotnextが存在する。
|
|
49 このContextをUser Contextと呼ぶ。
|
|
50 さらに実行しているGPUやCPUごとにContextが必要となる。
|
|
51 これらはCPU Contextと呼ばれる。
|
|
52 GearsOSはOSであるため、全体を管理するKernelのContextも必要となる。
|
|
53 これはKernelContextやKContextと呼ばれる。
|
|
54 KContextはすべてのContextを参照する必要がある。
|
|
55 OSが持たなければならない割り込みのフラグなどはKContextに置かれている。
|
|
56 GearsOSのメタレベルのプログラミングでは、 今処理をしているContextが誰のContextであるかを強く意識する必要がある。
|
|
57
|
71
|
58 \lstinputlisting[label=src:structContext, caption=contextの定義]{src/structContext.h}
|
|
59 \begin{figure}[t]
|
|
60 \begin{center}
|
|
61 \includegraphics[width=120mm]{drawio/context.pdf}
|
|
62 \end{center}
|
|
63 \caption{Contextの概要図}
|
|
64 \label{fig:context}
|
|
65 \end{figure}
|
66
|
66
|
70
|
67
|
|
68 ContextはGearsOSの計算で使用されるすべてのDataGearとCodeGearを持つ。
|
|
69 つまりGearsOSで使われるCodeGearとDataGearは、 誰かのContextに必ず書き込まれている。
|
|
70 各CodeGear、DataGearはContextはそれぞれ配列形式でContextにデータを格納する場所が用意されている。
|
71
|
71 CodeGearが保存されている配列はソースコード\ref{src:structContext}の6行目で定義している\texttt{code}である。
|
|
72 StubCodeGearはContextのみを引数で持つため、 \texttt{\_\_code stub(struct Context*)}の様なCodeGearの関数ポインタのポインタ、つまりCodeGearの配列としての定義されている。
|
70
|
73 これは前述したStubCodeGearの関数ポインタが格納されており、 \texttt{\_\_code meta}でのディスパッチに利用される。
|
|
74
|
71
|
75 DataGearが保存されている配列は7行目で定義している\texttt{data}である 。
|
|
76 すべてのDataGearはGearsOS上では\texttt{union Data}型として取り扱えるので、 \texttt{union Data}のポインタの配列として宣言されている。
|
70
|
77 ただしGearsOSで使うすべてのDataGearがこのContextに保存されている訳ではない。
|
|
78 Interfaceを利用したgoto時の値の保存場所として、この配列にDataGearごと割り振られた場所にDtaGearを保存する用途で利用している。
|
|
79 CodeGearで利用している配列と同様に、 この配列の添え字もDataGearの番号に対応している。
|
|
80
|
|
81
|
|
82 DataGearは配列形式のデータ格納場所のほかに、Contextが持つヒープに保存することも可能である。
|
|
83 計算で必要なDataGearは、 CbCの中でアロケーションした場合はContextにヒープに書き込まれる。
|
|
84 ヒープにはDataGearと、書き込んだDataGearのメタ情報が記載されているMetaDataGearで構成されている。
|
71
|
85 \section{Stub Code Gear}
|
|
86 次のCodeGearに継続する際、ノーマルレベルから見ると次のCodeGearを直接指定しているように見える。
|
|
87 さらに次のCodeGearに引数などを直接渡しているようにも見える。
|
|
88 しかしノーマルレベルから次のCodeGearに継続する場合は関数ポインタなどが必要になるが、 これらはメタ計算に含まれる。
|
|
89 その為純粋にノーマルレベルからCodeGear間を自由に継続させてしまうと、 ノーマルレベルとメタレベルの分離ができなくなってしまう。
|
|
90 ノーマルレベルとメタレベルの分離の為に、 次のCodeGearには直接継続させず、間にMetaCodeGearをはさむようにする必要がある。
|
72
|
91 またポインタをノーマルレベルには持たせず、 継続先のCodeGearは番号を使って指定する。
|
71
|
92 CodeGear間の継続はGearsOSのビルド時にPerlスクリプトによって書き換えが行われ、MetaCodeGearを経由するように変更される。
|
|
93
|
|
94 GearsOSではDataGearはすべてContextを経由してやり取りをする。
|
|
95 次の継続にDataGearを渡す場合、 継続する前に一度ContextにDataGearを書き込み、 継続先でContextからDataGearを取り出す。
|
|
96 ContextはMetaDataGearであるために、 ノーマルレベルのCodeGearではなくMetaCodeGearで扱う必要がある。
|
|
97 各CodeGearの計算で必要なDataGearをContextから取り出すMetaCodeGearは、 実行したいCodeGearの直前で実行される必要がある。
|
|
98 このCodeGearを特にStubCodeGearと呼ぶ。
|
|
99 StubCodeGearはすべてのCodeGearに対して実装しなければならず、 手で実装するのは煩雑である。
|
|
100 StubCodeGearもGearsOSのビルド時にPerlスクリプトによって自動生成される。
|
|
101
|
|
102 ソースコード\ref{src:StackPush}に示すノーマルレベルで記述したCodeGearを、Perlスクリプトによって変換した結果をソースコード\ref{src:StackPushStub}に示す。
|
|
103 常に自分自身のContextをCodeGearは入力の形で受け取る為、変換後の\texttt{pushSingleLinkedStack}は、 第1引数にContextが加わっている。
|
|
104 pushSingleLinkedStackは引数は3つ要求していた。
|
|
105 これらの引数は生成された\texttt{pushSingleLinkedStack\_stub}がContextの特定の場所から取り出す。
|
|
106 このCodeGearはGearsOSのInterfaceを利用しており、 Stack Interaceの実装となっている。
|
|
107 マクロ\texttt{Gearef}は、 contextのInterface用のDataGearの置き場所にアクセスするマクロであり、 Stack Interfaceの置き場所から、引数情報を取得している。
|
72
|
108 マクロ\texttt{Gearef}の定義をソースコード\ref{src:gearef}に示す。
|
|
109 マクロ\texttt{Gearef}では引数で与えられたDataGearの名前を、enumを利用した番号に変換し、contextから値を取り出している。
|
|
110 DataGearは\texttt{enum Data}型で各DataGearの型ごとに番号が割り振られている。(ソースコード\ref{src:enumData})
|
|
111 \lstinputlisting[label=src:gearef, caption=Gearefマクロ]{src/gearef.h}
|
|
112 \lstinputlisting[label=src:enumData, caption=enumDataの定義]{src/enumData.h}
|
|
113
|
|
114
|
71
|
115 すべての引数を取得したのちに、\texttt{goto pushSingleLinkedStack}で、CodeGearに継続する。
|
|
116 \lstinputlisting[label=src:StackPush, caption=StackにPushするCodeGear]{src/StackPush.cbc}
|
|
117 \lstinputlisting[label=src:StackPushStub, caption=\ref{src:StackPush}のStubCodeGear]{src/StackPush.c}
|
70
|
118
|
|
119
|
|
120 Contextと継続の関係性を図\ref{fig:stubCodeGear}に示す。
|
|
121 StubCodeGearはGearsOSで定義されているノーマルレベルのCodeGearのすべてに生成される。
|
|
122
|
|
123 \begin{figure}[h]
|
|
124 \begin{center}
|
|
125 \includegraphics[width=160mm]{drawio/stubCodeGear.pdf}
|
|
126 \end{center}
|
|
127 \caption{Contextを参照したCodeGearのデータアクセス}
|
|
128 \label{fig:stubCodeGear}
|
|
129 \end{figure}
|
|
130
|
|
131
|
|
132 \texttt{\_\_code meta}の定義をソースコード\ref{src:meta}に示す。
|
72
|
133 \lstinputlisting[label=src:meta, caption=\_\_code meta]{src/meta.cbc}
|
70
|
134 \texttt{\_\_code meta}はContextに格納されているCodeGearの配列からCodeGearのアドレスを取得し継続する。
|
|
135 この際に配列の要素を特定する際に使われる添え字は、 各CodeGearに割り振られた番号を利用している。
|
|
136 この番号はC言語の列挙体を使用した\texttt{enum Code}型で定義されている。
|
72
|
137 \texttt{enum Code}型の定義をソースコード\ref{src:enumCode}に示す。
|
|
138 命名規則は\texttt{C\_CodeGearName}となっている。
|
|
139 \lstinputlisting[label=src:enumCode, caption=CodeGearの番号であるenumCodeの定義]{src/enumCode.h}
|
70
|
140 \texttt{enum Code}型はGearsOSのコンパイル時に利用されているCodeGearを数え上げて生成される。
|
72
|
141 Contextのcode配列には、各CodeGearのStubCodeGearの関数ポインタが配置されている。
|
|
142 よって\texttt{\_\_code meta}から継続する先のCodeGearは、呼び出し先のCodeGearの直前に実行されるStubCodeGearになる。
|
70
|
143
|
|
144 CodeGearからCodeGearへの継続は、関数型プログラミングの継続先に渡すDataとCodeの組のClosureとなっている。
|
|
145 シンタックスでは継続の際に引数\texttt{(...)}を渡す。
|
|
146 これは処理系では特に使用していないキーワードであるが、 このClosureを持ち歩いていることを意識するために導入されている。
|
|
147
|
|
148
|
|
149
|
66
|
150 \section{TaskManager}
|
73
|
151 TaskManagerはGearsOS上で実行されるTaskの管理を行う。
|
|
152 GearsOS上のTaskとはContextのことであり、 各Contextには自分の計算に必要なDataGearのカウンタなどが含まれている。
|
|
153 TaskManagerは、CodeGearの計算に必要な入力のDataGear(InputDataGear)が揃っているかの確認、揃っていなかったら待ち合わせを行う処理がある。
|
|
154 すべてのDataGearが揃った場合、 TaskをWorkerのQueueに通知しTaskを実行させる。
|
|
155 この処理はGearsOSを並列実行させる場合に必要な機能となっている。
|
|
156
|
66
|
157 TaskManagerは性質上シングルトンである。
|
|
158 その為、複数Workerを走らせた場合でも1全体で1つのみの値を持っていたいものはTaskManagerが握っている必要がある。
|
|
159 例えばモデル検査用の状態保存用のデータベース情報は、 TaskManagerが所有している。
|
|
160
|
73
|
161 \section{TaskQueue}
|
|
162 GearsOSのTaskQueueはSynchronizedQueueで表現されている。
|
|
163 TaskQueueはWorkerが利用するQueueとなっている。
|
|
164
|
|
165 WorkerのQueueは、TaskManagerに接続してTaskを送信するスレッドと、 Taskを実行するWorker自身のスレッドで扱われる。
|
|
166 さらにWorkerが複数走る可能性もある。
|
|
167 その為SynchronizedQueueは、マルチスレッドでもデータの一貫性を保証する必要がある。
|
|
168 GearsOSではCAS(Check and Set, Compare and Swap)を利用して実装が行われている。
|
|
169
|
66
|
170 \section{Worker}
|
|
171 WorkerはWorkerの初期化にスレッドを作る。
|
|
172 GearsOSではスレッドごとにそれぞれContextが生成される。
|
|
173 Workerはスレッド作製後にContextの初期化APIを呼び出し、自分のフィールドにContextのアドレスを書き込む。
|
|
174
|
|
175 スレッド作製後はTaskManagerからTaskを取得する。
|
|
176 TaskはContextの形で表現されているために、WorkerのContextをTaskに切り替え、 Taskの次の継続に実行する。
|
|
177 OutputDataGearがある場合は、Task実行後にDataGearの書き出しが行われる。
|
|
178
|
|
179 WorkerはCodeGearの前後で確実に呼び出される。
|
|
180 この性質を利用すると、 CodeGearの実行の前後での状態を記録することが可能である。
|
|
181 つまりモデル検査が可能である為、モデル検査用のWorkerを定義して入れ替えるとコードに変更を与えずに実行できる。
|
|
182 Worker自体はInterfaceで表現されているために、入れ替えは容易となっている。
|
|
183 GearsOSでは通常のWorkerとしてCPUWorkerを、GPUに関連した処理をするCUDAWorker、合間にモデル検査関連のメタ計算をはさむMCWorkerが定義されている。
|
61
|
184 \section{union Data型}
|
|
185
|
68
|
186 CbC/GearsOSではDataGearは構造体の形で表現されていた。
|
|
187 すべてのDataGearを管理する、Contextは計算で使うすべてのDataGearの型定義を持っている。
|
|
188 各DataGearは当然ではあるが別の型である。
|
|
189 例えばStack DataGearとQueue DataGearは、それぞれstruct Stackとstruct Queueで表現されるが、 C言語のシステム上別の型とみなされる。
|
61
|
190 メタレベルで見れば、 この型定義は\texttt{union Data}型にすべて書かれている。
|
68
|
191 しかしContextはこれらの型をすべてDataGearとして等しく扱う必要がある。
|
|
192 この為にC言語の共用体を使用し、汎用的なDataGearの型であるunion Data型を定義している。
|
|
193 共用体とは、構成するメンバ変数で最大の型のメモリサイズと同じメモリサイズになる特徴があり、複数の異なる型をまとめて管理することができる。
|
61
|
194 構造体と違い、1度に一つの型しか使うことができない。
|
|
195
|
|
196
|
68
|
197 実際にどの型が書き込まれているかは、 Contextのどこに書き込まれているかによって確認の方法が異なる。
|
|
198 Interfaceの入出力で利用しているdata配列の場合は、enumの番号とdata配列の添え字が対応している。
|
|
199 このためenumで指定した場所に入っているunion Dataの具体的な型は、 enumと対応するDataGearになる。
|
|
200 contextのヒープにアロケートされたDataGearの場合は、 型情報を取得できるMetaDataGearにアクセスすると、なんの型であったかが分かる。
|
60
|
201
|
71
|
202 Contextから取り出してきたunion DataからDataGearの型への変換はメタ計算で行われる。
|
68
|
203 GearsOSの場合は、計算したいCodeGearの直前で実行されるStubCodeGearで値のキャストが行われる。
|
73
|
204
|
|
205 \section{Interface}
|
|
206 GearsOSのモジュール化の仕組みとしてInterfaceがある。
|
|
207 InterfaceはCodeGearと各CodeGearで使う入出力のDataGearの集合である。
|
|
208 Interfaceに定義されているCodeGearは、各Interfaceが満たすこと期待するAPIである。
|
|
209
|
|
210 Intefaceは仕様(Interface)と、実装(Implement, Impl)を別けて記述する。
|
|
211 Interfaceを呼び出す場合は、Interfaceに定義されたAPIに沿ってプログラミングをすることで、Implの内容を隠蔽することができる。
|
|
212 これによってメタ計算部分で実装を入れ替えつつInterfaceを使用したり、 ふるまいを変更することなく具体的な処理の内容のみを変更することが容易にできる。
|
|
213 これはJavaのInterface、Haskellの型クラスに相当する機能である。
|
74
|
214
|
|
215 \subsection{Interfaceの定義}
|
|
216 GearsOSに実装されているQueueのInterfaceの定義をソースコード\ref{src:queue}に示す。
|
|
217 \lstinputlisting[label=src:queue, caption=QueueのInterface]{src/queue.h}
|
|
218 Interfaceの定義は、前半に入出力で利用するDataGearを列挙する。
|
|
219 ここでは\texttt{queue}と\texttt{data}を利用する。
|
|
220 4行目からはAPIの宣言である。
|
|
221 各APIはCodeGearであるので\texttt{\_\_code}で宣言する。
|
|
222 各CodeGearの第1引数は\texttt{Impl*}型の変数になっている。
|
|
223 これはInterfaceと対応するImplementのDataGearのポインタである。
|
|
224 Javaなどのオブジェクト指向言語ではselfやthisのキーワードで参照できるものとほぼ等しい。
|
|
225 Interface宣言時には具体的にどの型が来るかは不定であるため、 キーワードを利用している。
|
|
226 ImplはInterfaceのAPI呼び出し時に、メタレベルの処理であるStubCodeGearで自動で入力される。
|
|
227 その為ユーザーはInterfaceのAPIを呼び出す際は、 このImplに対応する引数は設定しない。
|
|
228 すなわち実際にいれるべき引数は、 Implを抜いたものになる。
|
|
229
|
|
230 第1引数にImplが来ないCodeGearとして\texttt{whenEmpty}と\texttt{next}がQueueの例で存在している。
|
|
231 これらはAPIの呼び出し時に継続として渡されるCodeGearであるため、 Interfaceの定義時には不定である。
|
|
232 その為\texttt{...}を用いて、不定なCodeGearとDataGearのClosureが来ると仮定している。
|
|
233 8行目で定義している\texttt{whenEmpty}はQueueの状態を確認し、空でなければ\texttt{next}、空であれば\texttt{whenEmpty}に継続する。
|
|
234 これらは呼び出し時にCodeGearを入力して与えることになる。
|
|
235
|
73
|
236
|
74
|
237 \subsection{Interfaceの呼び出し}
|
|
238 Interfaceで定義したAPIは\texttt{interface->method}の記法で呼びだすことが可能である。
|
|
239 ソースコード\ref{src:queueTake}では、 Queue Interfaceのtake APIを呼び出している。
|
|
240 takeは\texttt{\_\_code next}を要求しているので、 CodeGearの名前を引数として渡している。
|
|
241 これはノーマルレベルではenumの番号として処理される。
|
|
242 takeは出力を1つ出すCodeGearである為、継続で渡された\texttt{odgCommitCUDAWorker4}はStubでこの出力を受け取る。
|
|
243 \lstinputlisting[label=src:queueTake, caption=InterfaceのAPIの呼び出し]{src/queueTake.cbc}
|
|
244
|
77
|
245 また、Interfaceを利用する場合はソースコード中に\texttt{\#interface "interfaceName.h"}と記述する必要がある。
|
|
246 例えばQueueを利用する場合は\texttt{\#interface "Queue.h"}と記述しなければならない。
|
|
247 \texttt{\#interface}構文は、一見するとC言語のマクロの様に見える。
|
|
248 実際にはマクロではなく、 Perlスクリプトによってメタレベルの情報を含むCbCファイルに変換する際に、 Perlスクリプトに使っているInterfaceを教えるアノテーションの様な役割である。
|
|
249 Perlスクリプトによって変換時に、 \texttt{\#interface}の宣言は削除される。
|
76
|
250
|
74
|
251 \subsection{Interfaceのメタレベルの実装}
|
|
252 Interface自身もDataGearであり、実際の定義はcontextのunion Data型に記述されている。
|
|
253 メタレベルではIntefaceのDataGearのGearsOS上の実装である構造体自身にアクセス可能である。
|
|
254 Queue Interfaceに対応する構造体の定義をソースコード\ref{src:queueStruct}に示す。
|
|
255 \lstinputlisting[label=src:queueStruct, caption=QueueのInterfaceに対応する構造体]{src/queueStruct.h}
|
|
256
|
|
257 Interfaceの実装は、この構造体に代入されている値で表現される。
|
|
258 Interfaceの定義(ソースコード\ref{src:queue})と、 実際の構造体(ソースコード\ref{src:queueStruct})を見比べると、 CodeGearは\texttt{enum Code}として表現し直されている。
|
|
259 \texttt{enum Code}はGearsOSで使うすべてのCodeGearに割り振られた番号である。
|
|
260 InterfaceはAPIに対応するenum Codeに、Impl側のenumCodeを代入することで、実装を表現している。
|
|
261 InterfaceのImpl側のDataGearは、 各Interfaceに存在する、Interface名の最初の一文字が小文字になったunion Data型のポインタ経由で取得可能である。
|
|
262
|
|
263 \subsection{InterfaceのImplの実装}
|
|
264 実際にInterfaceの初期化をしている箇所を確認する。
|
|
265 Queue Interfaceに対応するSingleLinkedQueueの実装を\ref{src:SingleLinkedQueueOld}に示す。
|
73
|
266 \lstinputlisting[label=src:SingleLinkedQueueOld, caption=SingleLinkedQueueの実装]{src/SingleLinkedQueueOld.cbc}
|
|
267
|
77
|
268 Interfaceの実装の場合も、 Interface呼び出しのAPIである\texttt{\#interface "Queue.h"}を記述する必要がある。
|
74
|
269 \texttt{createSingleLinkedQueue}はSingleLinkedQueueで実装したQueue Interfaceのコンストラクタである。
|
|
270 これは関数呼び出しで実装されており、 返り値はInterfaceのポインタである。
|
|
271 コンストラクタ内ではQueueおよびSingleLinkedQueueのアロケーションを行っている。
|
|
272 \texttt{new}演算子が使われているが、 これはGearsOSで拡張されたシンタックスの1つである。
|
|
273 newはGearsOSのビルド時にPerlスクリプトによって、contextが持つDataGearのヒープ領域の操作のマクロに切り替わる。
|
|
274 ノーマルレベルではcontextにアクセスできないので、 Javaの様なアロケーションのシンタックスを導入している。
|
|
275
|
76
|
276 \subsection{goto時のContextとInterfaceの関係}
|
|
277 Interfaceはモジュール化の仕組みとしてでなく、 メタレベルでは一時的な変数の置き場所としても利用している。
|
|
278 ソースコード\ref{src:queueTake}で呼び出しているtakeは、 OutputDataGearがあるAPIである。
|
|
279 このOutputDataGearは、 context内のDataGearの置き場所であるdata配列の、 Interfaceのデータ格納場所に書き込まれる。
|
|
280 OutputDataGearを取得する場合は、 継続先でなく、APIのInterfaceから取得しないといけない。
|
73
|
281
|
76
|
282 また、goto文で別のCodeGearに遷移する際も、引数情報を継続先のcontextのdata配列の場所に書き込む必要がある。
|
|
283 この処理はメタレベルの計算であるため、 GearsOSのビルド時にPerlで変換される。
|
|
284 ソースコード\ref{src:takeStub}にソースコード\ref{src:queueTake}の変換結果を示す。
|
|
285 この例ではStubCodeGearのディスパッチを行う\texttt{\_\_code meta}へのgotoの前に、Gearefマクロを使ったcontextへの書き戻しが行われている。
|
|
286 GearsOSはCbCを用いて実装している為、スタックを持っていない。
|
|
287 その為都度データはContextに書き戻す必要があるが、データの一時保管場所としても利用されている。
|
|
288 \lstinputlisting[label=src:takeStub, caption=takeを呼び出す部分の変換後]{src/queueTakeStub.cbc}
|
|
289 この性質からInterfaceには、Interfaceを実装するDataGearが持っておきたい変数はいれてはいけない。
|
|
290 例えばQueueの実装では先頭要素を指し示す情報が必要であるが、 これをInterface側のDataGearにしてしまうと、 呼び出し時に毎回更新されてしまう。
|
|
291 常に持っておきたい値は、 Impl側のDataGearの要素として定義する必要がある。
|
73
|
292
|
90
|
293 \section{par goto}
|
|
294 TODO
|
|
295
|
34
|
296 \section{GearsOSのビルドシステム}
|
|
297 GearsOSではビルドツールにCMakeを利用している。
|
35
|
298 ビルドフローを図\ref{fig:gearsbuild1}に示す。
|
34
|
299 CMakeはautomakeなどのMakeファイルを作成するツールに相当するものである。
|
70
|
300 GearsOSでプログラミングする際は、ビルドしたいプロジェクトで利用するソースコード群をCMakeの設定ファイルであるCMakeLists.txtに記述する。
|
|
301 CMakeLists.txtではGearsOSのビルドに必要な一連の処理をマクロ\texttt{GearsCommand}で制御している。
|
|
302 このマクロにプロジェクト名を\texttt{TARGET}として、 コンパイルしたいファイルを\texttt{SOURCES}に記述する。
|
|
303 ソースコード\ref{src:cmakeGearsMacro}の例では\texttt{pop\_and\_push}が\texttt{TARGET}に指定されている。
|
|
304 なおヘッダファイルは\texttt{SOURCES}に指定する必要はなく、 自動で解決される。
|
|
305
|
|
306 CMake自身はコンパイルに必要なコマンドを実行することはなく、ビルドツールであるmakeやninja-buildに処理を移譲している。
|
|
307 CMakeはmakeやninja-buildが実行時に必要とするファイルであるMakefile、 build.ninjaの生成までを担当する。
|
|
308 \lstinputlisting[label=src:cmakeGearsMacro, caption=CMakeList.txt内でのプロジェクト定義]{src/GearsMacroCMake.txt}
|
34
|
309
|
|
310
|
35
|
311 GearsOSのビルドでは直接CbCコンパイラがソースコードをコンパイルすることはなく、 間にPerlスクリプトが2種類実行される。
|
|
312 Perlスクリプトはビルド対象のGearsOSで拡張されたCbCファイルを、純粋なCbCファイルに変換する。
|
|
313 ほかにGearsOSで動作する例題ごとに必要な初期化関数なども生成する。
|
|
314 Perlスクリプトで変換されたCbCファイルなどをもとにCbCコンパイラがコンパイルを行う。
|
|
315 ビルドの処理は自動化されており、 CMake経由でmakeやninjaコマンドを用いてビルドする。
|
|
316
|
60
|
317 \begin{figure}[h]
|
34
|
318 \begin{center}
|
60
|
319 \includegraphics[width=150mm]{drawio/geasflow1.pdf}
|
34
|
320 \end{center}
|
|
321 \caption{GearsOSのビルドフロー}
|
|
322 \label{fig:gearsbuild1}
|
61
|
323 \end{figure}
|
|
324
|
|
325
|
34
|
326
|
60
|
327 \section{GearsOSのCbCから純粋なCbCへの変換}
|
|
328 GearsOSはCbCを拡張した言語となっている。
|
|
329 ただしこの拡張自体はCbCコンパイラであるgcc、 llvm/clangには搭載されていない。
|
|
330 その為GearsOSの拡張部分を、等価な純粋なCbCの記述に変換する必要がある。
|
|
331 現在のGearsOSでは、 CMakeによるコンパイル時にPerlで記述された\texttt{generate\_stub.pl}と\texttt{generate\_context.pl}の2種類のスクリプトで変換される。
|
|
332
|
76
|
333 これらのPerlスクリプトはプログラマが自分で動かすことはない。
|
|
334 Perlスクリプトの実行手順はCMakeLists.txtに記述しており、 makeやninja-buildでのビルド時に呼び出される。(ソースコード \ref{src:cmake1})
|
|
335
|
|
336 \lstinputlisting[label=src:cmake1, caption=CMakeList.txt内でのPerlの実行部分]{src/cmakefile.1.txt}
|
|
337
|
60
|
338 \section{generate\_stub.pl}
|
|
339 generate\_stub.plは各CbCファイルごとに呼び出される。
|
77
|
340 図\ref{fig:generate_stub_pl_1}にgenerate\_stub.plを使った処理の概要を示す。
|
|
341 ユーザーが記述したGearsOSのCbCファイルは、 ノーマルレベルのコードである。
|
|
342 generate\_stub.plは、 CbCファイルにメタレベルの情報を付け加え、GearsOSの拡張構文を取り除いた結果のCbCファイルを新たに生成する。
|
|
343 返還前のGearsOSのファイルの拡張子は.cbcであるが、 generate\_stub.plによって変換されると、 同名で拡張子のみ.cに切り替わったファイルが生成される。
|
|
344 拡張子は.cであるが、中身はCbCで記述されている。
|
91
|
345 generate\_stub.plはあるプログラムのソースコードから別のプログラムのソースコードを生成するトランスパイラとして見ることができる。
|
77
|
346
|
60
|
347
|
|
348 \begin{figure}[h]
|
|
349 \begin{center}
|
|
350 \includegraphics[width=160mm]{drawio/gears_os_build_flow.pdf}
|
|
351 \end{center}
|
|
352 \caption{generate\_sub.plを使ったトランスコンパイル}
|
|
353 \label{fig:generate_stub_pl_1}
|
|
354 \end{figure}
|
|
355
|
77
|
356 generate\_stub.plはGearsOSのソースコードを2回読む。
|
91
|
357 1度目の読み込みは関数getDataGearが担当する。(図\ref{fig:aboutDataGear})
|
|
358 ソースコード中に登場するCodeGearと、CodeGearの入出力を検知する。
|
|
359 この際に\texttt{\#interface}構文でInterfaceの利用が確認された場合、 Interfaceの定義ファイルを開き、getDataGearをさらに呼び出す。
|
|
360 これらの処理で、 1つのGearsOSのファイル自身と、 呼び出しているInterfaceの定義ファイルに実装されているCodeGearとDataGearの組を取得する。
|
|
361 データの収集は、入力で与えられたファイルを1行ずつ読み込み、 あらかじめ設定した正規表現にパターンマッチすることで処理を行っている。
|
|
362 ソースコード\ref{src:generateExampleInterface}は、GearsOSのソースコード中でInterfaceの使用宣言部分のパターンマッチ処理である。
|
|
363 \lstinputlisting[label=src:generateExampleInterface, caption=CMakeList.txt内でのPerlの実行部分]{src/generateStubInterfaceExample.pl}
|
|
364
|
|
365 ここでは使用しているInterfaceの名前を変数\texttt{\$interfaceHeader}にキャプチャし、 Interfaceの読み込み処理を8行目の\texttt{includeInterface}関数で実行している。
|
|
366 includeInterface関数の中ではgetDataGearを呼び出し、CodeGear、DataGearの情報を取得している。
|
|
367
|
|
368
|
|
369 取得した情報はgenerate\_stub.plが持つ変数に書き込まれる。
|
|
370 この変数は主にPerlのハッシュ(連想配列)が利用される。
|
|
371
|
|
372
|
|
373 \begin{figure}[h]
|
|
374 \begin{center}
|
|
375 \includegraphics[width=120mm]{drawio/getDataGearAbout.pdf}
|
|
376 \end{center}
|
|
377 \caption{getDataGearの処理の概要}
|
|
378 \label{fig:aboutDataGear}
|
|
379 \end{figure}
|
77
|
380
|
|
381 1度ファイルを完全に読み込み、 CodeGear、DataGearの情報を取得し終わると、以降はその情報をもとに変換したファイルを書き出す。
|
93
|
382 この書き出しはgenerateDataGear関数で行われる。(図\ref{fig:aboutgenerateDataGear})
|
77
|
383 ファイルを書き出す際は、 元のCbCファイルを再読み込みし、 変換する必要があるキーワードが出現するまでは、変換後のファイルに転記を行う。
|
|
384 例えば各CodeGearの最後に実行される\texttt{goto}文は、 GearsOSの場合はMetaCodeGearに継続するように、 対象を切り替える必要がある。
|
|
385 この為にgenerate\_stub.plは、goto文を検知するとcontext経由で引数のやりとりをするメタ処理を付け加える。
|
|
386 また、すべてのCodeGearはcontextを入力として受け取る必要があるため、 引数を書き換えてContextを付け加えている。
|
|
387
|
93
|
388 \begin{figure}[h]
|
|
389 \begin{center}
|
|
390 \includegraphics[width=130mm]{drawio/generateDataGearAbout.pdf}
|
|
391 \end{center}
|
|
392 \caption{generateDataGearの処理の概要}
|
|
393 \label{fig:aboutgenerateDataGear}
|
|
394 \end{figure}
|
|
395
|
|
396
|
91
|
397 generate\_stub.plはPerlで書かれたトランスパイラであり、 C言語のコンパイラのように文字列を字句解析、構文解析をする訳ではない。
|
77
|
398 いくつかあらかじめ定義した正規表現パターンに読み込んでいるCbCファイルの行がパターンマッチされたら、 特定の処理をする様に実装されている。
|
|
399
|
|
400 CodeGearの入力をcontextから取り出すStubCodeGearの生成もgenerate\_stub.plで行う。
|
|
401 なおすでにStubCodeGearが実装されていた場合は、 generate\_stub.plはStubCodeGearは生成しない。
|
|
402
|
|
403
|
|
404
|
60
|
405 \section{generate\_context.pl}
|
76
|
406 generate\_context.plは、Contextの初期化関連のファイルを生成するPerlスクリプトである。
|
|
407 Contextを初期化するためには、下記の処理をしなければならない。
|
60
|
408
|
|
409 \begin{itemize}
|
76
|
410 \item CodeGearのリストにStubCodeGearのアドレスの代入
|
|
411 \item goto meta時に引数を格納するdata配列のアロケーション
|
|
412 \item 計算で使用するすべてのDataGear、CodeGearに対して番号を割り振り、 enumを作製する
|
|
413 \item コンストラクタ関数のexternの生成
|
60
|
414 \end{itemize}
|
|
415
|
76
|
416 これらの記述は煩雑であるものの、CbCファイルとDataGearの情報が纏められたcontext.hを見れば、記述すべき内容は一意に決定でき為、自動化が可能である。
|
|
417 generate\_context.plは、 context.hを読み、まずDataGearの取得を行う。
|
|
418 CodeGearは、generate\_stub.plで変換されたCbCファイルを読み込み、 \texttt{\_\_code}があるものをCodeGearとして判断する。
|
|
419 また、Cの一般関数でも\texttt{create}が関数名に含まれており、 ポインタ型を返す関数はInterfaceのコンストラクタとして判断する。
|
|
420 これらの情報をもとに、 CodeGear、DataGearの番号を作製し、enumCode.hとenumData.hとして書き出す。
|
60
|
421
|
76
|
422
|
60
|
423
|
|
424 \begin{figure}[h]
|
|
425 \begin{center}
|
76
|
426 \includegraphics[width=90mm]{drawio/old_generate_context.pdf}
|
60
|
427 \end{center}
|
|
428 \caption{generate\_context.plを使ったファイル生成}
|
|
429 \label{fig:generate_context_1}
|
|
430 \end{figure}
|
|
431
|
|
432
|
|
433
|
57
|
434 \section{CbC xv6}
|
|
435 CbC xv6はGearsOSのシステムを利用してxv6 OSの置き換えを目指しているプロジェクトである。\cite{cbcxv6repo}
|
|
436 xv6はv6 OS\cite{lions1996lions}をx86アーキテクチャ用にMITによって実装し直されたものである。
|
|
437 Raspberry Pi上での動作を目指しているため、 ARMアーキテクチャ用に改良されたバージョンを利用している。\cite{xv6rpi}
|
|
438
|
|
439 書き換えにおいてはビルドシステムはCMakeを利用し、 Perlクロスコンパイラを導入してたりとGearsOSのビルドシステムとほぼ同じシステムを利用している。
|
|
440 GearsOSを使った比較的巨大な実用的なアプリケーションであるため、 xv6の書き換えを進むに連れて様々な面で必要な機能や課題が生まれている。
|
91
|
441
|
|
442 従来の研究ではxv6はCMakeを使わずにMakeを用いてクロスコンパイルしていた。
|
|
443 現在はxv6にGearsOSのCMakeを使ったビルドシステムを導入している。
|
|
444 ARM用のバイナリが出力できるCbCコンパイラがある場合、x86マシンからCMakeを利用してクロスコンパイル可能となっている。
|
|
445
|
|
446 CMakeを導入したことでGearsOSの拡張構文が使えるようになった。
|
70
|
447 xv6はUNIX OSである為プロセス単位で処理を行っていたが、 ここに部分的にContextを導入した。
|
|
448 xv6では割り込みのフラグなどを大域変数として使っていた。
|
|
449 GearsOSで実装する場合はDataGear単位になるため、 これらのフラグもDataGearの形で実装し直した。
|
|
450 このDataGearは各プロセスに対応するContextではなく、 中心的なContextがシングルトンで持っている必要がある。
|
|
451 CbCxv6の実装を通してKernelの状況を記録しておくContext、つまりKernelContextが必要であることなどが判明した。
|
|
452
|
57
|
453 \section{ARM用ビルドシステムの作製}
|
33
|
454 GearsOSをビルドする場合は、x86アーキテクチャのマシンからビルドするのが殆どである。
|
|
455 この場合ビルドしたバイナリはx86向けのバイナリとなる。
|
|
456 これはビルドをするホストマシンに導入されているCbCコンパイラがx86アーキテクチャ向けにビルドされたものである為である。
|
|
457
|
|
458 CbCコンパイラはGCCとllvm/clang上に構築した2種類が主力な処理系である。
|
|
459 LVM/clangの場合はLLVM側でターゲットアーキテクチャを選択することが可能である。
|
|
460 GCCの場合は最初からjターゲットアーキテクチャを指定してコンパイラをビルドする必要がある。
|
|
461
|
|
462 時にマシンスペックの問題などから、 別のアーキテクチャ向けのバイナリを生成したいケースがある。
|
|
463 教育用マイコンボードであるRaspberry Pi\cite{rpi}はARMアーキテクチャが搭載されている。
|
|
464 Raspberry Pi上でGearsOSのビルドをする場合、 ARM用にビルドされたCbCコンパイラが必要となる。
|
|
465 Raspberry Pi自体は非力なマシンであるため、 GearsOSのビルドはもとよりCbCコンパイラの構築をRaspberry Pi上でするのは困難である。
|
|
466 マシンスペックが高めのx86マシンからARM用のバイナリをビルドして、 Raspberry Piに転送し実行したい。
|
|
467 ホストマシンのアーキテクチャ以外のアーキテクチャ向けにコンパイルすることをクロスコンパイルと呼ぶ。
|
|
468
|
|
469
|
58
|
470 GearsOSはビルドツールにCMakeを利用しているので、 CMakeでクロスコンパイル可能に工夫をしなければならない。
|
35
|
471 ビルドに使用するコンパイラやリンカはCMakeが自動探索し、 決定した上でMakefileやbuild.ninjaファイルを生成する。
|
33
|
472 しかしCMakeは今ビルドしようとしている対象が、自分が動作しているアーキテクチャかそうでないか、クロスコンパイラとして使えるかなどはチェックしない。
|
|
473 つまりCMakeが自動でクロスコンパイル対応のGCCコンパイラを探すことはない。
|
|
474 その為そのままビルドするとx86用のバイナリが生成されてしまう。
|
|
475
|
|
476
|
|
477 CMakeを利用してクロスコンパイルする場合、CMakeの実行時に引数でクロスコンパイラを明示的に指定する必要がある。
|
|
478 この場合x86のマシンからARMのバイナリを出力する必要があり、 コンパイラやリンカーなどをARMのクロスコンパイル対応のものに指定する必要がある。
|
|
479 また、 xv6の場合はリンク時に特定のリンカスクリプトを使う必要がある。
|
|
480 これらのリンカスクリプトもCMake側に、 CMakeが提供しているリンカ用の特殊変数を使って自分で組み立てて渡す必要がある。
|
68
|
481 CMake側に使用したいコンパイラの情報を渡せれば、以降はCMake側が自動的に適切なビルドスクリプトを生成してくれる。
|
33
|
482 このようなCMakeの処理を手打ちで行うことは難しいので、 \texttt{pmake.pl}を作成した。
|
|
483 \texttt{pmake.pl}の処理の概要を図\ref{fig:pmake}に示す。
|
|
484 \texttt{pmake.pl}はPerlスクリプトで、 シェルコマンドを内部で実行しクロスコンパイル用のオプションを組み立てる。
|
|
485 \texttt{pmake.pl}を経由してCMakeを実行すると、 makeコマンドに対応するMakefile、 ninja-buildに対応するbuild.ninjaが生成される。
|
|
486 以降はcmakeではなくmakeなどのビルドツールがビルドを行う。
|
|
487
|
35
|
488 \begin{figure}[h]
|
33
|
489 \begin{center}
|
|
490 \includegraphics[width=160mm]{drawio/pmake.pdf}
|
|
491 \end{center}
|
|
492 \caption{pmake.plの処理フロー}
|
|
493 \label{fig:pmake}
|
|
494 \end{figure}
|
|
495
|
61
|
496
|
37
|
497
|