スクリーンショットではなく、受動的な記憶

ソフトウェアに一日の記憶を持たせる分かりやすい方法は、画面を録画することです。数秒おきにフレームを撮り、文字認識にかけ、フレームを保存し、あとから検索する。それは動きます。そして、間違った取引です。

フレームのアーカイブは、あなたが見たすべてのコピーです。それがディスク上に、ファイルにアクセスできるどのプロセスからも読め、どのビューアでも再生できる形で置かれます。4秒だけ開いたパスワードマネージャも、別タブの検査結果も、同僚が共有した給与のスプレッドシートも、そこに含まれます。それを残すと決めたのはあなたではありません。レコーダーが代わりに決めたのです。

ShogunAI は画面を録画しません。

記録された例外がひとつだけあります。それもレコーダーではありません。既定でオフの「ビジュアルリコール」は、 テキストが一切取得できなかったウィンドウにかぎってフレームを取得し、あなたが選んだ保持期間が過ぎると自動的に削除します。そのルールは ビジュアルリコールと、私たちが議論した例外に書きました。

代わりに何を読むのか

macOS はすでに、画面上にあるものの構造化された記述を公開しています ── スクリーンリーダーが使うアクセシビリティのレイヤーです。ウィンドウのタイトル、見出し、フォーカスしている文書の本文、読んでいるメッセージ、入力しているフィールド。支援技術が使うのと同じインターフェースで、返ってくるのはピクセルではなくテキストと構造です。

ShogunAI が読むのはそれです。結果は、画像から復元したどんなものより小さく、正確で、役に立ちます。

• 認識エラーがない。 テキストはテキストのまま届きます。ピクセルから推測するものがないので、6週間後の記憶が黙って間違っていることもありません。
• 構造が保たれる。 文書のタイトルと、人からのメッセージと、コード中のコメントの違いを ShogunAI は理解します。アクセシビリティツリーがどれがどれかを示しているからです。
• 安い。 フォーカスが切り替わるたびにテキストツリーを読むコストは、画像をエンコードして認識するコストのごく一部です。ファンが静かで、バッテリーが保つのはこのためです。

キャプチャは判断であって、垂れ流しではない

受動的であることは、無差別であることを意味しません。キャプチャには範囲があります。実際に作業しているアプリとウィンドウに追随し、止めろと言われたところで止まります。

プライベートウィンドウ、パスワードフィールド、除外に指定したアプリは、決して読まれません。一時停止はノッチのワンクリックで、停止中は何もメモリに入りません。これらの除外は、何かが書き込まれる前に適用されます。保存済みのデータに対するフィルタとしてではありません。この違いは重要です。後者の約束は、フィルタにバグがあった瞬間に壊れるからです。

実際に保存されるもの

3つです。テキスト、どこから来たか、いつか。すべてのエントリは、それを生んだイベントへのリンクを保持します。だからこそ ShogunAI は、根拠のない自信たっぷりの一文ではなく、「火曜の14:20、設計ドキュメントの中でそう決めています」と答えられます。

メモリは古さで層に分かれています。直近1日は即座に想起できるようメモリ上に、直近1か月は詳細のまま検索でき、それより古いものは圧縮して長期に保持します。今朝のことは会話の速度で、前四半期のことは四半期分の生テキストを抱え込むことなく答えられます。

実際によく聞かれること

「ほかの人が読めますか?」 あなたの Mac の中の、暗号化されたデータベースにあります。既定でどこにも同期されません。誰かが差し押さえたり、侵害したり、こっそり学習に使ったりできるサーバー側のコピーは存在しません。

「何か外に出ますか?」 名前のついた理由がある場合には出ます ── 返信を下書きするためのモデル呼び出し、あなたが明示的に接続したサービス。そのひとつひとつが、開いて確認できるトレーサビリティのログに記録されます。何が出て、何のために出て、途中で第三者を経由したかどうか。もしあなたの内容を誰かを経由させて送るなら、ログにそう書かれ、設定時に先に同意を求めます。

「残したくないものは?」 削除は機能します。エントリを消すと、検索からも、階層化された保存からも、次のアクションのために組み立てられる文脈からも消えます。

その下にある原則は単純です。あなたの一日は、しまい込むための動画ではありません。自分が何をしたかについての事実の集合であり、その事実を ── そしてその事実だけを ── 知っているシステムのほうが、役に立つうえに、はるかに信頼しやすいのです。