?
我司與汽車職業(yè)學校合作hololens混合現(xiàn)實開發(fā)汽車發(fā)動機輔助檢修項目。
概述
該軟件旨在通過學校自身的師資力量和教學場地及現(xiàn)有教學裝備，構(gòu)建現(xiàn)代職業(yè)教育體系，加快學校發(fā)展現(xiàn)代職業(yè)教育，培養(yǎng)適合本市經(jīng)濟發(fā)展需要的技術(shù)技能人才。通過MR（混合現(xiàn)實）技術(shù)為發(fā)動機檢修專業(yè)提供一個虛擬仿真教學課程研究與開發(fā)、教學研究與實驗實踐的平臺。
目標
- 特色性：根據(jù)專業(yè)學習對口企業(yè)崗位的實際生產(chǎn)需要設計軟件，來進行MR教學。
- 實用性：通過虛實結(jié)合、強化訓練提高教學效率。
- 創(chuàng)新性：利用最新的MR技術(shù)手段，使學生耳目一新，積極主動的掌握知識點和技能。
- 數(shù)據(jù)性：利用軟件教學，方便采集教學數(shù)據(jù)，使教學結(jié)果有直觀的體現(xiàn)，為教學分析和研究打下基礎。
方案簡析
- 使用微軟的MR頭顯HoloLens，將軟件安裝其中后使用。
- MR教學場景，合并現(xiàn)實和虛擬世界而產(chǎn)生的新的可視化環(huán)境，產(chǎn)生的虛擬對象為全息圖像，例如三維模型，窗口、菜單等。
- 通過頭部凝視虛擬對象和手勢操作，來實現(xiàn)虛擬交互。例如點擊按鈕、拖動物體等。
- 識別現(xiàn)實世界物體，進行相應功能開發(fā)，例如對學生實際操作的智能評分系統(tǒng)。
- HoloLens直播，將在設備中看到和聽到的虛實結(jié)合的場景投放到大屏幕，供所有學生觀看，方便教學。
- 將HoloLens教學的操作數(shù)據(jù)和部分視頻通過服務器保存。
- 后臺管理系統(tǒng)，管理和查看師生和教學數(shù)據(jù)信息等。
- 遠程教學和指導，老師可在電腦上指導戴HoloLens的學生操作。
界面截圖：
- 遠程指導
教師利用虛擬仿真畫面、實時操作視頻進行實時、隨機、示范性動作
?
- 直播教學
以直播視頻形式實施教學展示
- 混合現(xiàn)實教學
學生可以進行自助式操作，形成虛擬仿真與現(xiàn)實操作高度融合
- 完美疊加的視頻教學畫面
實施方案
本方案為制作發(fā)動機氣門的檢修教學，以后制作發(fā)動機其它部分的檢修可相應地添加到本軟件中。
全息顯示示例
- UI：用于顯示菜單、按鈕、文本或圖片信息；用于用戶輸入信息。
- 三維模型和動畫：模型用于展示零件或工具外觀，動畫用于展示零部件拆裝和工作原理。
功能說明
- 學生需登錄后才可使用本軟件進行教學，登錄方式為在軟件初始界面輸入學號和密碼。
- 登錄成功后，選擇課次，課次由老師在后臺編輯，由老師告訴學生應選擇哪個課次，系統(tǒng)默認為最新課次。
- 進入教學后，學生的學號、姓名、課次和教學名稱始終顯示在視野固定位置，比如左上角。本方案中教學名稱只有“發(fā)動機氣門的檢修”。
- 選擇教學模式進行教學，教學模式分為學習模式、練習模式和評分模式。
學習模式：讓學生了解零部件、工具使用和拆裝過程。
練習模式：學生進行實物操作，有全息界面提示，學生可以隨時查看當前該如何操作。
評分模式：學生進行實物操作，軟件對學生操作進行一定程度的識別進行智能評分。
- 直播HoloLens教學
老師可以通過電腦登錄HoloLens管理平臺（一個局域網(wǎng)的ip），直播HoloLens中的內(nèi)容，其他學生可以在與電腦連接的顯示設備上觀看頭戴HoloLens使用者的體驗全過程。老師對一個學生指導，其他學生全部可以受益，提高教學效率。除了評分模式和遠程指導的教學，都可以進行直播。
- 遠程指導教學
通過使用HoloLens上的skype軟件，可以讓老師在電腦上一對多遠程指導，在skype軟件上可以視頻、語音、甚至作圖指導。老師在電腦上作的圖，會在戴HoloLens的學生眼前轉(zhuǎn)化為全息圖像。
- 教學數(shù)據(jù)采集和保存
數(shù)據(jù)分為文本數(shù)據(jù)和視頻數(shù)據(jù)，兩者互為補充。
文本數(shù)據(jù)：記錄軟件操作日志。比如登錄情況、選擇的教學模式、教學模式使用情況等。
視頻數(shù)據(jù)：直播HoloLens和遠程指導的教學在電腦上可以看到視頻，用錄像軟件錄屏。評分模式如果需要錄制視頻，可以在HoloLens管理平臺錄制，但是每段錄像只能錄5分鐘，所以用文本數(shù)據(jù)記錄此教學過程。
文本數(shù)據(jù)，系統(tǒng)會自動記錄并提交給服務器保存。
視頻數(shù)據(jù)需要老師手動錄制，將錄制的視頻文件通過后臺管理界面上傳到服務器保存。
- 后臺管理系統(tǒng)
師生數(shù)據(jù)和教學數(shù)據(jù)的管理平臺。
教學模式內(nèi)容
- 學習模式
零部件和專用工具通過靜態(tài)模型和UI展示，模型可以移動、旋轉(zhuǎn)和縮放。
拆裝過程通過三維動畫和UI展示。
以下是展示內(nèi)容
1.零部件：
- 進排氣凸輪軸
- 氣門挺柱
- 進排氣門
2.專用工具：
1）
2）
3）
3.拆裝過程：
- 凸輪軸的拆卸
- 氣門挺柱的拆卸
- 氣門的拆卸
- 凸輪軸安裝
- 氣門挺柱的安裝
- 氣門的安裝
- 練習模式
全息界面提示操作流程，輔助學生實際操作。
練習前進行拆裝分步選擇，與學習模式的拆裝過程類似，分成6步。選擇后，全息界面提示當前拆裝的步驟提示。
例如進行“凸輪軸的拆卸”，界面上提示<拆下4個凸輪軸軸承蓋螺栓。注意: 用一把塑料錘輕輕敲打以松開軸承架。>，可以點擊上一步下一步按鈕查看提示，點擊下一步之后，提示<拆下第一凸輪軸軸承蓋>，點擊上一步，又回到之前的提示，以此類推。
另外還可隨時點擊動畫按鈕，查看動畫演示。
- 評分模式
老師在教學前，先在后臺管理系統(tǒng)設置這次教學的內(nèi)容（具體設置見后臺管理系統(tǒng)介紹）。
學生進入評分模式后，系統(tǒng)會提示需要評分檢測的內(nèi)容，是否檢測到內(nèi)容會有標記提示。檢測內(nèi)容分為步驟檢測和零件檢測。另外，有“維修記錄單”和“提交”按鈕。“維修記錄單”點擊后出現(xiàn)記錄單通過手勢點擊完成填寫；“提交”點擊后顯示此次教學的評分。
1.步驟檢測，系統(tǒng)會用實物識別檢測是否完成此步驟，識別順序按照步驟順序（以下圖片為檢測實物）。
1）進、排氣凸輪軸拆卸
2）全部氣門挺柱的拆卸
3）對指定的一個汽缸的兩組進、排氣門進行拆卸
4）對指定的一個汽缸的兩組進、排氣門進行組裝
5）全部氣門挺柱的組裝
6）進、排氣凸輪軸組裝
2.零件檢測，系統(tǒng)會用實物識別一些拆卸過程中的關(guān)鍵零件，以輔助評分。
- 進排氣凸輪軸
- 氣門挺柱
- 進排氣門
3.維修記錄單
- 主要內(nèi)容按照下圖表格
- 填寫表格方式
合格/不合格：點擊選擇
處理部分：點擊選擇，選擇項有“正常”和其他后臺設置好的選項
數(shù)字部分：點擊填寫處，虛擬鍵盤填寫。
- 檢測答案方式
根據(jù)后臺設置好的正確答案核對。
4.提交
系統(tǒng)將此次評分數(shù)據(jù)（包括步驟檢測、零件檢測、維修記錄單）上傳到后臺保存，并顯示最終評分。
評分初步設定：
| 項目 | 小項 | 評分 |
| 步驟檢測 | 進、排氣凸輪軸拆卸 | 8 |
| 全部氣門挺柱的拆卸 | 3 | |
| 對指定的一個汽缸的兩組進、排氣門進行拆卸 | 14 | |
| 對指定的一個汽缸的兩組進、排氣門進行組裝 | 14 | |
| 全部氣門挺柱的組裝 | 3 | |
| 進、排氣凸輪軸組裝 | 8 | |
| 零件檢測 | 進排氣凸輪軸 | 4 |
| 氣門挺柱 | 3 | |
| 進排氣門 | 4 | |
| 維修記錄單 | 進排氣門外觀檢查 | 4 |
| 進排氣門長度測量 | 6 | |
| 進排氣門頭部直徑測量 | 6 | |
| 進排氣門錐面接觸面寬度測量 | 6 | |
| 汽缸蓋上進排氣門座接觸面寬度測量 | 6 | |
| 進排氣門對氣門座同心度檢查 | 5 | |
| 氣門與氣門座接觸面的位置檢查 | 6 | |
| 總計 | ? | 100 |
后臺管理系統(tǒng)
- 登錄身份
登錄身份分為管理員、老師、學生。
管理員：最高權(quán)限，可以查看和操作所有數(shù)據(jù)
老師：可以編輯和查看自己的數(shù)據(jù)以及查看所教學生的數(shù)據(jù)
學生：可以查看自己的數(shù)據(jù)
- 后臺內(nèi)容
1.管理員
- 編輯和查看老師信息數(shù)據(jù)
賬號/工號
初始密碼固定123456
姓名
所教班級
- 編輯和查看學生信息數(shù)據(jù)
賬號/學號
初始密碼固定111111
姓名
班級
- 編輯和查看班級信息數(shù)據(jù)
班級編號
班級名稱
- 編輯和查看教學內(nèi)容信息數(shù)據(jù)
教學編號
教學名稱
- 編輯和查看教學數(shù)據(jù)
可根據(jù)班級、教學名稱和教學老師篩選
課次：系統(tǒng)根據(jù)老師編輯課次內(nèi)容自動生成
時間：上課的時間
班級
教學老師
學生操作記錄：登錄、選擇的教學模式、評分模式數(shù)據(jù)（包含各項評分和總分）、老師評語
教學視頻：老師上傳的此課次的視頻
2.老師
- 修改自己的密碼
- 新建或修改課次內(nèi)容
時間：上課的時間
教學名稱
班級：使用此課次的班級
評分模式內(nèi)容：選擇一個已經(jīng)設置好的內(nèi)容，供評分模式教學使用。
- 新建或修改評分模式內(nèi)容
教學名稱
評分模式數(shù)據(jù)：以“發(fā)動機氣門的檢修”為例，需設置“維修記錄單”中各個數(shù)據(jù)的標準答案。
- 上傳教學視頻文件
選擇課次后上傳
- 查看教學數(shù)據(jù)
只可以查看自己的教學數(shù)據(jù)，數(shù)據(jù)內(nèi)容同第1點管理員的第5小點。
可以給學生操作記錄添加或修改評語。
3.學生
1）修改自己的密碼
2）按照課次查看評分模式數(shù)據(jù)及老師評語
技術(shù)/項目方法
- 建模、三維動畫：3D Max
- UI設計：Photoshop、Flash等
- 前端程序：Unity3D
- 后臺程序：PHP+MySQL
- 錄屏工具：Apowersoft錄屏王或其它同類軟件
- 實物識別：Vuforia AR SDK