在選擇第三方測試機構時,主要查看其資質、信息系統工程測評經驗、測試環境、測試工具及測試工程師隊伍的素質等。
第三方獨立的測試機構目前只有國家級和省級兩級,一般為各省軟件測評中心。但也有些企業成立的軟件測試機構符合ISO17025體系要求,成為國家級或省級軟件測評中心。
信息應用系統工程一般具有較強的行業背景,第三方測試機構最好有相同或相近的工程測試經驗,以利于完成系統工程的功能測試。
現代信息應用系統規模越來越大,測試環境及測試工具對于測試的效率及效果有決定性的影響。在選擇第三方測試機構時,應當優先選擇有完善的測試環境和先進的測試(管理)工具公司。
測試機構的測試工程師的資質和素質對于實際工作效率有很大的影響,應該優先選擇測試工程師技術全面,并掌握測試工具的第三方測試機構。
1.第三方測試工程的分類
根據軟件的特性,第三方軟件測試工程可以劃分為3種類型。
(1)系統軟件、環境軟件和各類工具軟件等的測評:這類軟件大多作為計算機的環境或“公用”支撐軟件,產品類型多、市場銷量大且生產廠商多。產品的特點是大多有企業,甚至國際的產品質量標準。用戶選擇時希望進行產品功能、性能的對比測試,這類軟件的評測重點是軟件產品的功能、性能和特點。
(2)面向應用軟件系統的測評:這類軟件具有很強的行業應用特性,往往要由用戶與開發商簽訂項目合同。開發商負責開發,用戶負責驗收。和傳統的工程項目建設過程相似,引入軟件工程監理機制顯然是必需的。在我國,引入獨立第三方質量評測和過程控制的軟件工程管理辦法被證明是成功的。對這類軟件的評測,根據用戶對第三方的依賴程度,又可分為兩個層次。
·只對應用軟件系統進行綜合性功能及性能測試:大體是在軟件系統級進行黑盒測試,并不對軟件過程進行控制及監督。
· 對應用軟件系統進行質量監理與評測:不僅承擔第1個層次的任務,還要對軟件過程進行監控,具備初級軟件工程監理的職責。
負責該類軟件質量評測的第三方承擔軟件過程質量監理的責任,在軟件生命周期過程中從軟件定義開始,要對軟件過程從質量保證角度進行規范化的監督、管理和控制。評測工作不僅包括軟件生命周期各階段的評審,而且還要對系統進行包括模塊白盒測試在內的系統集成及系統驗收等測試。
(3)對軟件企業的CMM進行評估認證:CMM等級認證,是對一個企業對其軟件過程的定義、管理、度量、控制取得何種實效能力的一種評價,是確保軟件產品質量的基礎。很顯然,對軟件企業的CMM等級認證,是最高層次的軟件評測。
2.第三方測試工程的環境建設
第三方測試工程環境建設包括建立軟件評測場地,提供測試和評估分析所需的設備、軟件及工具等。此類環境包括代表性的操作系統、支持平臺、中間件,以及網絡環境等,以便模擬分布式應用,此外還有版本管理工具及專用測試工具等。