?
我司與汽車職業(yè)學(xué)校合作hololens混合現(xiàn)實開發(fā)汽車發(fā)動機輔助檢修項目。
概述
該軟件旨在通過學(xué)校自身的師資力量和教學(xué)場地及現(xiàn)有教學(xué)裝備，構(gòu)建現(xiàn)代職業(yè)教育體系，加快學(xué)校發(fā)展現(xiàn)代職業(yè)教育，培養(yǎng)適合本市經(jīng)濟(jì)發(fā)展需要的技術(shù)技能人才。通過MR（混合現(xiàn)實）技術(shù)為發(fā)動機檢修專業(yè)提供一個虛擬仿真教學(xué)課程研究與開發(fā)、教學(xué)研究與實驗實踐的平臺。
目標(biāo)
- 特色性：根據(jù)專業(yè)學(xué)習(xí)對口企業(yè)崗位的實際生產(chǎn)需要設(shè)計軟件，來進(jìn)行MR教學(xué)。
- 實用性：通過虛實結(jié)合、強化訓(xùn)練提高教學(xué)效率。
- 創(chuàng)新性：利用最新的MR技術(shù)手段，使學(xué)生耳目一新，積極主動的掌握知識點和技能。
- 數(shù)據(jù)性：利用軟件教學(xué)，方便采集教學(xué)數(shù)據(jù)，使教學(xué)結(jié)果有直觀的體現(xiàn)，為教學(xué)分析和研究打下基礎(chǔ)。
方案簡析
- 使用微軟的MR頭顯HoloLens，將軟件安裝其中后使用。
- MR教學(xué)場景，合并現(xiàn)實和虛擬世界而產(chǎn)生的新的可視化環(huán)境，產(chǎn)生的虛擬對象為全息圖像，例如三維模型，窗口、菜單等。
- 通過頭部凝視虛擬對象和手勢操作，來實現(xiàn)虛擬交互。例如點擊按鈕、拖動物體等。
- 識別現(xiàn)實世界物體，進(jìn)行相應(yīng)功能開發(fā)，例如對學(xué)生實際操作的智能評分系統(tǒng)。
- HoloLens直播，將在設(shè)備中看到和聽到的虛實結(jié)合的場景投放到大屏幕，供所有學(xué)生觀看，方便教學(xué)。
- 將HoloLens教學(xué)的操作數(shù)據(jù)和部分視頻通過服務(wù)器保存。
- 后臺管理系統(tǒng)，管理和查看師生和教學(xué)數(shù)據(jù)信息等。
- 遠(yuǎn)程教學(xué)和指導(dǎo)，老師可在電腦上指導(dǎo)戴HoloLens的學(xué)生操作。
界面截圖：
- 遠(yuǎn)程指導(dǎo)
教師利用虛擬仿真畫面、實時操作視頻進(jìn)行實時、隨機、示范性動作
?
- 直播教學(xué)
以直播視頻形式實施教學(xué)展示
- 混合現(xiàn)實教學(xué)
學(xué)生可以進(jìn)行自助式操作，形成虛擬仿真與現(xiàn)實操作高度融合
- 完美疊加的視頻教學(xué)畫面
實施方案
本方案為制作發(fā)動機氣門的檢修教學(xué)，以后制作發(fā)動機其它部分的檢修可相應(yīng)地添加到本軟件中。
全息顯示示例
- UI：用于顯示菜單、按鈕、文本或圖片信息；用于用戶輸入信息。
- 三維模型和動畫：模型用于展示零件或工具外觀，動畫用于展示零部件拆裝和工作原理。
功能說明
- 學(xué)生需登錄后才可使用本軟件進(jìn)行教學(xué)，登錄方式為在軟件初始界面輸入學(xué)號和密碼。
- 登錄成功后，選擇課次，課次由老師在后臺編輯，由老師告訴學(xué)生應(yīng)選擇哪個課次，系統(tǒng)默認(rèn)為最新課次。
- 進(jìn)入教學(xué)后，學(xué)生的學(xué)號、姓名、課次和教學(xué)名稱始終顯示在視野固定位置，比如左上角。本方案中教學(xué)名稱只有“發(fā)動機氣門的檢修”。
- 選擇教學(xué)模式進(jìn)行教學(xué)，教學(xué)模式分為學(xué)習(xí)模式、練習(xí)模式和評分模式。
學(xué)習(xí)模式：讓學(xué)生了解零部件、工具使用和拆裝過程。
練習(xí)模式：學(xué)生進(jìn)行實物操作，有全息界面提示，學(xué)生可以隨時查看當(dāng)前該如何操作。
評分模式：學(xué)生進(jìn)行實物操作，軟件對學(xué)生操作進(jìn)行一定程度的識別進(jìn)行智能評分。
- 直播HoloLens教學(xué)
老師可以通過電腦登錄HoloLens管理平臺（一個局域網(wǎng)的ip），直播HoloLens中的內(nèi)容，其他學(xué)生可以在與電腦連接的顯示設(shè)備上觀看頭戴HoloLens使用者的體驗全過程。老師對一個學(xué)生指導(dǎo)，其他學(xué)生全部可以受益，提高教學(xué)效率。除了評分模式和遠(yuǎn)程指導(dǎo)的教學(xué)，都可以進(jìn)行直播。
- 遠(yuǎn)程指導(dǎo)教學(xué)
通過使用HoloLens上的skype軟件，可以讓老師在電腦上一對多遠(yuǎn)程指導(dǎo)，在skype軟件上可以視頻、語音、甚至作圖指導(dǎo)。老師在電腦上作的圖，會在戴HoloLens的學(xué)生眼前轉(zhuǎn)化為全息圖像。
- 教學(xué)數(shù)據(jù)采集和保存
數(shù)據(jù)分為文本數(shù)據(jù)和視頻數(shù)據(jù)，兩者互為補充。
文本數(shù)據(jù)：記錄軟件操作日志。比如登錄情況、選擇的教學(xué)模式、教學(xué)模式使用情況等。
視頻數(shù)據(jù)：直播HoloLens和遠(yuǎn)程指導(dǎo)的教學(xué)在電腦上可以看到視頻，用錄像軟件錄屏。評分模式如果需要錄制視頻，可以在HoloLens管理平臺錄制，但是每段錄像只能錄5分鐘，所以用文本數(shù)據(jù)記錄此教學(xué)過程。
文本數(shù)據(jù)，系統(tǒng)會自動記錄并提交給服務(wù)器保存。
視頻數(shù)據(jù)需要老師手動錄制，將錄制的視頻文件通過后臺管理界面上傳到服務(wù)器保存。
- 后臺管理系統(tǒng)
師生數(shù)據(jù)和教學(xué)數(shù)據(jù)的管理平臺。
教學(xué)模式內(nèi)容
- 學(xué)習(xí)模式
零部件和專用工具通過靜態(tài)模型和UI展示，模型可以移動、旋轉(zhuǎn)和縮放。
拆裝過程通過三維動畫和UI展示。
以下是展示內(nèi)容
1.零部件：
- 進(jìn)排氣凸輪軸
- 氣門挺柱
- 進(jìn)排氣門
2.專用工具：
1）
2）
3）
3.拆裝過程：
- 凸輪軸的拆卸
- 氣門挺柱的拆卸
- 氣門的拆卸
- 凸輪軸安裝
- 氣門挺柱的安裝
- 氣門的安裝
- 練習(xí)模式
全息界面提示操作流程，輔助學(xué)生實際操作。
練習(xí)前進(jìn)行拆裝分步選擇，與學(xué)習(xí)模式的拆裝過程類似，分成6步。選擇后，全息界面提示當(dāng)前拆裝的步驟提示。
例如進(jìn)行“凸輪軸的拆卸”，界面上提示<拆下4個凸輪軸軸承蓋螺栓。注意: 用一把塑料錘輕輕敲打以松開軸承架。>，可以點擊上一步下一步按鈕查看提示，點擊下一步之后，提示<拆下第一凸輪軸軸承蓋>，點擊上一步，又回到之前的提示，以此類推。
另外還可隨時點擊動畫按鈕，查看動畫演示。
- 評分模式
老師在教學(xué)前，先在后臺管理系統(tǒng)設(shè)置這次教學(xué)的內(nèi)容（具體設(shè)置見后臺管理系統(tǒng)介紹）。
學(xué)生進(jìn)入評分模式后，系統(tǒng)會提示需要評分檢測的內(nèi)容，是否檢測到內(nèi)容會有標(biāo)記提示。檢測內(nèi)容分為步驟檢測和零件檢測。另外，有“維修記錄單”和“提交”按鈕。“維修記錄單”點擊后出現(xiàn)記錄單通過手勢點擊完成填寫；“提交”點擊后顯示此次教學(xué)的評分。
1.步驟檢測，系統(tǒng)會用實物識別檢測是否完成此步驟，識別順序按照步驟順序（以下圖片為檢測實物）。
1）進(jìn)、排氣凸輪軸拆卸
2）全部氣門挺柱的拆卸
3）對指定的一個汽缸的兩組進(jìn)、排氣門進(jìn)行拆卸
4）對指定的一個汽缸的兩組進(jìn)、排氣門進(jìn)行組裝
5）全部氣門挺柱的組裝
6）進(jìn)、排氣凸輪軸組裝
2.零件檢測，系統(tǒng)會用實物識別一些拆卸過程中的關(guān)鍵零件，以輔助評分。
- 進(jìn)排氣凸輪軸
- 氣門挺柱
- 進(jìn)排氣門
3.維修記錄單
- 主要內(nèi)容按照下圖表格
- 填寫表格方式
合格/不合格：點擊選擇
處理部分：點擊選擇，選擇項有“正常”和其他后臺設(shè)置好的選項
數(shù)字部分：點擊填寫處，虛擬鍵盤填寫。
- 檢測答案方式
根據(jù)后臺設(shè)置好的正確答案核對。
4.提交
系統(tǒng)將此次評分?jǐn)?shù)據(jù)（包括步驟檢測、零件檢測、維修記錄單）上傳到后臺保存，并顯示最終評分。
評分初步設(shè)定：
| 項目 | 小項 | 評分 |
| 步驟檢測 | 進(jìn)、排氣凸輪軸拆卸 | 8 |
| 全部氣門挺柱的拆卸 | 3 | |
| 對指定的一個汽缸的兩組進(jìn)、排氣門進(jìn)行拆卸 | 14 | |
| 對指定的一個汽缸的兩組進(jìn)、排氣門進(jìn)行組裝 | 14 | |
| 全部氣門挺柱的組裝 | 3 | |
| 進(jìn)、排氣凸輪軸組裝 | 8 | |
| 零件檢測 | 進(jìn)排氣凸輪軸 | 4 |
| 氣門挺柱 | 3 | |
| 進(jìn)排氣門 | 4 | |
| 維修記錄單 | 進(jìn)排氣門外觀檢查 | 4 |
| 進(jìn)排氣門長度測量 | 6 | |
| 進(jìn)排氣門頭部直徑測量 | 6 | |
| 進(jìn)排氣門錐面接觸面寬度測量 | 6 | |
| 汽缸蓋上進(jìn)排氣門座接觸面寬度測量 | 6 | |
| 進(jìn)排氣門對氣門座同心度檢查 | 5 | |
| 氣門與氣門座接觸面的位置檢查 | 6 | |
| 總計 | ? | 100 |
后臺管理系統(tǒng)
- 登錄身份
登錄身份分為管理員、老師、學(xué)生。
管理員：最高權(quán)限，可以查看和操作所有數(shù)據(jù)
老師：可以編輯和查看自己的數(shù)據(jù)以及查看所教學(xué)生的數(shù)據(jù)
學(xué)生：可以查看自己的數(shù)據(jù)
- 后臺內(nèi)容
1.管理員
- 編輯和查看老師信息數(shù)據(jù)
賬號/工號
初始密碼固定123456
姓名
所教班級
- 編輯和查看學(xué)生信息數(shù)據(jù)
賬號/學(xué)號
初始密碼固定111111
姓名
班級
- 編輯和查看班級信息數(shù)據(jù)
班級編號
班級名稱
- 編輯和查看教學(xué)內(nèi)容信息數(shù)據(jù)
教學(xué)編號
教學(xué)名稱
- 編輯和查看教學(xué)數(shù)據(jù)
可根據(jù)班級、教學(xué)名稱和教學(xué)老師篩選
課次：系統(tǒng)根據(jù)老師編輯課次內(nèi)容自動生成
時間：上課的時間
班級
教學(xué)老師
學(xué)生操作記錄：登錄、選擇的教學(xué)模式、評分模式數(shù)據(jù)（包含各項評分和總分）、老師評語
教學(xué)視頻：老師上傳的此課次的視頻
2.老師
- 修改自己的密碼
- 新建或修改課次內(nèi)容
時間：上課的時間
教學(xué)名稱
班級：使用此課次的班級
評分模式內(nèi)容：選擇一個已經(jīng)設(shè)置好的內(nèi)容，供評分模式教學(xué)使用。
- 新建或修改評分模式內(nèi)容
教學(xué)名稱
評分模式數(shù)據(jù)：以“發(fā)動機氣門的檢修”為例，需設(shè)置“維修記錄單”中各個數(shù)據(jù)的標(biāo)準(zhǔn)答案。
- 上傳教學(xué)視頻文件
選擇課次后上傳
- 查看教學(xué)數(shù)據(jù)
只可以查看自己的教學(xué)數(shù)據(jù)，數(shù)據(jù)內(nèi)容同第1點管理員的第5小點。
可以給學(xué)生操作記錄添加或修改評語。
3.學(xué)生
1）修改自己的密碼
2）按照課次查看評分模式數(shù)據(jù)及老師評語
技術(shù)/項目方法
- 建模、三維動畫：3D Max
- UI設(shè)計：Photoshop、Flash等
- 前端程序：Unity3D
- 后臺程序：PHP+MySQL
- 錄屏工具：Apowersoft錄屏王或其它同類軟件
- 實物識別：Vuforia AR SDK