Seeed K.K.の松岡です。
先週、Eric Panに「このファームウェアいいぞ」(意訳)と教えてもらいました。小智(XiaoZhi)というもので、音声でやりとりできるチャットボット。Seeed製品のSenseCAP Watcherで動かすことができるらしい。しかも、日本語でもやりとりできる!?
というわけで、わたしの手元のSenseCAP WatcherもXiaoZhiファームウェアにして、会話してみました。
XiaoZhi
XiaoZhiはAI(大規模言語モデル)と対話するデバイスを開発、情報公開しているプロジェクトです。
GitHubのREADME.mdによると
このプロジェクトを通じて、より多くの人々が AI ハードウェア開発を始め、急速に進化している大規模言語モデルを実際のハードウェアデバイスに実装する方法を理解できるようになることを目指しています。
というオープンソースプロジェクトです。
ここに動いている様子の動画がアップされています。
中国語で何を言っているかわかりませんが、かなりリアルな感じがしますね。
プロジェクトのGitHubには12.3kものスターが付いていて、多くの人々が関心を持っていることがわかります。
XiaoZhi + SenseCAP Watcher
上の動画ではブレッドボードでマイコンボードやマイク、スピーカーを結線していました。このように手作りして理解を深めるのでしょう。
一方で、XiaoZhiはSenseCAP Watcher用のファームウェアも配布しています。SenseCAP Watcherを買ってきて(もしくは、すでに持っていて引き出しに眠っている?)、そこにこのファームウェアを入れるだけで、手早くAIと対話するデバイスを試すことができます。
セットアップ
ファームウェアを書き込む
SenseCAP Watcher用のファームウェアを、SenseCAP Watcherのマイコン(ESP32-S3)に書き込みます。
ファームウェアは、GitHubのReleasesから入手します。
最新バージョンのAssetsのところにあるv?.?.?_sensecap-watcher.zip
をダウンロードして解凍すると得られるmerged-binary.bin
というファイルです。
マイコンへの書き込みはEspressif Flash Download Toolを使います。
SenseCAP Watcherの下面にあるUSBコネクタとPCを接続して、Flash Download Toolで書き込みすればOKです。
Wi-Fiを設定
SenseCAP WatcherにWi-Fi接続情報を設定します。
SenseCAP Watcherを起動すると、SenseCAP WatcherがWi-Fiアクセスポイントとして動作するので、PCを接続します。
そして、ブラウザでhttp://192.168.4.1
にアクセスすると、Wi-Fi設定画面が表示されます。
SSIDとPasswordを入力してConnect
をクリックすると、情報が保存されてSenseCAP Watcherの表示が変わります。
デバイスを追加
XiaoZhiのクラウドサービスにデバイスを追加します。
ブラウザでhttps://xiaozhi.me
にアクセスして、ログイン(わたしは電話番号でログインしました)した後、エージェントにデバイスを追加します。
ブラウザの認証コードのところに、SenseCAP Watcherに表示されている6桁のコードを入力すればOKです。
ロールを設定
日本語で会話するようにロールを設定します。
エージェントのロールを、下記のとおり設定変更します。
- ボイスロール ... はるこ(晴子)
- 言語モデル ... DeepSeek V3 0324
- 詳細設定 > 言語優先 ... 日本語
話す
うちの娘(5才)でも会話できました。おもしろーい。
お友達のような、なれなれしい会話もスムーズでした。(動画は自粛)
なお、全ての会話は音声とテキストで後から確認することができます。つまり、全て記録されているのでお気を付けください。
参考リンク
変更履歴
日付 | 変更者 | 変更内容 |
---|---|---|
2025/5/2 | 松岡 | 作成 |