本文內容難度： ★ ★ ☆ ☆ ☆
建議閱讀對象：這份內容主要是整理了一份大家可以參考的 Taiwan-LLM-7B 相關資訊，大家也可以參考之前的文章搭配使用。
前情提要 — Taiwan-LLaMa v1.0
之前台大陳縕儂實驗室的林彥廷有開源了台灣 LLM 相關模型 — Taiwan LLaMa 模型，此模型是 13B 模型，來幫助企業能夠以此類模型進行技術導入工作，詳情可以看此篇文章：
新模型：Taiwan-LLM-7B
I. 新的模型 — Taiwan-LLM-7B
那目前台大陳縕儂實驗室的林彥廷博士生候選人在這幾天有公佈，他們正在著手處理 7B 模型的 Fine-Tune 作業，從目前紀錄的資料可以看到，預訓練有200億tokens，而且沒有使用 Common Crawl 資料集，這個資料集是一個開源的極大量、非結構化、多語言的網頁資料集。之前在聽其他先進在討論此塊時，Common crawl 資料集最主要的問題，應該會是很難控制裡面資料是什麼，而我筆者猜測，可能是為了想要使用更高品質的資料集，且減少問答內容出現不該出現的結果，所做的一個決定。
II. 目前模型狀態：
目前在 HuggingFace 上，作者已經開始進行 Taiwan-LLM-7B-v2.0.1-chat 的封測，因為 7B 模型很適合作為企業客戶的任務型大型語言模型的大小，因此也很期待這類型模型能夠早日釋出正式版，提供給大家使用：
根據筆者測試，如果填寫完成資料之後，就可以使用這個模型進行測試。
Taiwan-LLM-7B 哪裡可以試用？
就目前所看到的資訊，有提供兩個方法可以進行測試：
方法一：官方提供的問答系統
你可以使用 HuggingFace Repo 所提供的連結來進行測試，點進去後，就可以使用系統提供的範例，或者自行問答。
方法二： GGUF 模型
唐鳳部長已經在他自己的頁面，放上轉換成 GGUF inference engine 的模型檔案：
大家就可以使用 GGUF 模型來進行串接，將模型串接到公司內部的對話系統進行測試，相信這樣的串接，也是可以很快得到模型預測出來的結果。
就以筆者串接過後，就可以在平台上進行使用：
[工商服務時間]
如有團隊希望能夠導入如上面圖片的企業內部的 LLM 對話解決方案，我目前在公司設計了一套 Local LLM Solution Platform for Enterprise，為了讓接下來的應用能夠做得更好，這邊邀請大家填寫以下問卷調查，本問卷調查想要了解您在公司或個人專案上，對於我們所提出的需求，當你填寫完成後，你就可以在問卷填寫的信箱中得到 Taiwan LLaMa FastAPI 程式碼的範例，再請大家協助填寫相關內容了，感謝大家！
I am Simon
大家好，我是 Simon 劉育維，目前在 InfuseAI 擔任人工智慧領域的客戶成功工程師，幫助企業規劃並實踐人工智慧相關技術。如果這篇文章對您有幫助，請在 Medium 上按一下鼓勵並追蹤我的個人帳號，這樣您就可以隨時閱讀我所撰寫的文章。歡迎在我的 Linkedin 上留言提供意見，並與我一起討論有關人工智慧的主題，期待能夠對大家有所幫助！
We are InfuseAI
InfuseAI provides LLM, MLOps, and data tools:
- PrimeHub — Our end-to-end MLOps platform is the entire machine learning lifecycle in one platform.
- MLOps and LLM solution and consulting — Let the user know how to use MLOps and/or LLM Models to do the machine learning pipeline.
- PipeRider — The data quality toolkit for data professionals.
Feel free to contact us for assistance in implementing AI models!
Email: business@infuseai.io
