Friday, December 26, 2008

一千零一夜之 BitBake Data class

這個系列是讀書筆記,作者可能沒有跟主題有關的開發經驗。

曾經使用過 OpenEmbedded 的開發者應該可以想像,當 bitbake my-app 被執行時,它會去做哪些事。例如,它可能會去讀 conf 檔,然後利用這資料 (e.g., PREFERRED_PROVIDER of my-app) 決定要用哪個 bb 檔。當然 bb 檔可能會 inherit 某個 class 檔或者 include 某個 inc 檔。等到需要的資料都讀進來了,bitbake 就可以開始 unpack、pack、configure 等去逐一執行這個 bb 檔所指定的各 task。如果暫時不去理會 cache、相依性或者某 bb 檔指定的某檔案是怎麼抓下來,這個想像也就是 bitbake 核心的功能之一,也是這篇文章感興趣的項目:BitBake Data class。

以 glib-2.0-native_2.16.1.bb 為例,

require glib-2.0_${PV}.bb

FILESPATH = "${FILE_DIRNAME}/glib-2.0-${PV}:${FILE_DIRNAME}/files"
DEPENDS = "gtk-doc-native"
PR = "r2"

inherit native

do_configure_prepend() {
if [ -e ${S}/${TARGET_SYS}-libtool ] ; then
echo "${TARGET_SYS}-libtool already present"
else
cp ${STAGING_BINDIR}/${TARGET_SYS}-libtool ${S}
fi
}

do_stage () {
...
}

...

可能看出 bb 檔在做的事,主要是設定變數以及定義函數 (python or shell script)。Data class 就是用來紀綠 bitbake 從各設定檔跟 bb 檔讀進來各個變數的值。特別值得注意的是,對 Data class 來說,函數跟變數並沒有太大的不同。或者說,函數只是比較特別一點的變數。在上面的例子裡,do_stage() 其實只是定義了一個叫做 do_stage 的變數,而它的值剛好是一段 shell script。bb 檔裡還會出現一些 keyword (require, inherit 等),parser 在看到它們的時候,不一定是利用 Data class 來紀錄這些資訊。

在了解 bitbake 怎麼處理變數前我們必須先知道 Data class 提供了哪些機制。我們知道 Data class 是用來紀錄 key-value pairs 用的。又,上面提到有些變數是特殊的,所以每個 key 勢必還要有 flag 來描述其性質 (是不是可以執行,可執行的話是 python or shell script 等)。為了達到這個需求,實作上 Data class 是一個 dict of dict。也就是說,

DEPENDS = "gtk-doc-native"
S = "${WORKDIR}/git"
FILES_${PN}-locale = "${datadir}/locale"

會以

d.dict['DEPENDS']['content'] = 'gtk-doc-native'
d.dict['S']['content'] = '${WORKDIR}/git'
d.dict['FILES_${PN}-locale']['content'] = '${datadir}/locale'

的形式存到 d (an instance of class Data) 裡面。而

do_stage () { some_code }

則會變成

d.dict['do_stage']['content'] = 'some_code'
d.dict['do_stage']['func'] = '1'

利用 dict of dict,Data class 輕易地為任何的 key 提供任意多的性質。

我們知道了 Data class 讓我們可以為任意的 key 標上任意的性質,但 bitbake 的需求不僅僅只是如此。更重要的是,bitbake 想提供的是變數的處理。從上面的例子可以看到,S = "${WORKDIR}/git" 進到 Data class 裡是 d['S']['content'] = '${WORKDIR}/git' 的形式,WORKDIR 這個變數並沒有被展開。Data class 在變數展開方面採用的是 lazy 的策略。也就是說變數的展開,會在讀值的時候發生。所以要等到稍後某個 task 取 S 的值時
cd ${S}

WORKDIR 才會被即時展開。

變數除了可以出現在 value 外也可以出現在 key 的部份 (如 FILES_${PN}-locale)。不同的是,key 的變數展開發生在 d.expandKeys(),而且是不可復原的。它的目的跟我們最後想看的 prepend/append/override 有關。

在 bb 檔裡頭不難看到

do_configure_prepend() { some_code }
do_install_append() { some_other_code }
TARGET_FPU_arm = "soft"

等語法。這讓開發者可以很輕易地在 task 開始或結束的地方加上一段 script,或者讓開發者可以有條件地設定某個變數。例如,我們可能希望當目標架構是 arm 時把 TARGET_FPU 設成 soft。上面這些語法在 Data class (不完全正確) 的作法是

d.dict['do_configure']['_prepend'].append('some_code')
d.dict['do_install']['_append'].append('some_other_code')
d.dict['TARGET_FPU_arm']['content'] = 'soft'


而 prepend/append/override 發生的時機,不像變數展開是在取值時即時發生,也不像變數展開並不會去修改 d 的值,prepend/append/override 只有在 d.update_data() 時才會發生,而且修改也不可復原。例如當目標架構是 arm 時,TARGET_FPU 會被 override 成 TARGET_FPU_arm 的值

d.dict['TARGET_FPU'] = d.dict['TARGET_FPU_arm']

Override 機制比這邊討論的略為複雜一些。有興趣的人建議可以直接參考實作。

BitBake parser 規範了 bb 檔的語法。但部份 parser 允許的操作並不被 Data class 直接支援。最後,不妨猜猜看 ?=, :=, += 等操作跟 Data class 如何相互作用?

1 comment:

erin said...

1.+=
A = "foo"
A += "bar"
===> A = "foo bar"

2.:=
xx.bb
A=3
B=$(A)
xx.inc
A=4
====> B=4
but, if we use B:=$(A), then B=3

3. ?=
A?=3
if data["A"]:
pass
else
data["A"]=3

eg. we can use it for preferred version