世界建模助手

就像一個遊戲——你登陸了某種網絡，你的遊戲幫助你定位並利用世界資源實現你的目標。

假設你買了一臺電腦，然後安裝了這個程序。該程序是一個工具而不是服務（有點像遊戲化的、由BT（BitTorrent）支持的協作信息檢索和實現的工具）。爲了讓遊戲更有趣，程序會要求你設定你的目標和度量標準（以後我們會自動發現資源來支持這些目標，因此這些目標最初僅用於遊戲目的），比如目標可以是 "找到一個朋友"。然後，你運行這個程序。它在後臺運行，有命令行界面，可通過點擊其托盤圖標或命令彈出。

該程序開始協作掃描和映射可用的資源——從你的硬件到網絡。收集初始信息，如硬件可用，使用已知的位置和現有的軟件，如路徑 /proc、nmap、bluetoothctl、nmcli、機器腳本和局域網信息，識別3個主要的地址空間：文件系統地址空間，IP地址空間，MAC地址空間。然後，該程序利用 ipinfo.io 數據獲取現有的自治系統信息，以及如何通過區域互聯網註冊機構（RIR）分配IP空間。然後，它利用ICANN集中區域數據服務來確定哪些域在互聯網上公開可用：域名空間。用戶能夠看到 域名空間 所覆蓋的 IP空間 的百分比，並讓其餘的IP空間聲明——未知。

此後，該程序允許選擇任何網站，獲取其結構化信息，如果這些信息已經被任何人在線抓取，那麼這些數據就像通過BT下載電影一樣容易。用戶自己能夠看到域名空間中的哪些網站被什麼人抓取過，如果存在爬蟲，可以啓動新的抓取。

抓取的信息會根據被抓取的域名或IP的協議存儲在本地。例如，如果我們使用MongoDB來存儲抓取的數據，那麼，如果是通過 HTTPS 從 1.1.1.1 在 443 端口抓取的，那麼網頁就會按照協議名保存到名爲 HTTPS 的數據庫中。如：

$ mongo

use HTTPS db['1.1.1.1:443'].insertOne({'hi': 'there'})

另外，程序會建議使用概念的本體詞彙來映射保存到數據庫的實體，以自由的形式將網站自己的概念映射到這個共享詞彙中，用雙冒號（::）的標記，如下所示：

$ mongo

use HTTPS db['1.1.1.1:443/Page::resource:document'].insertOne({'hi': 'there'})

這裏 /Page 是源系統中實體的名稱，而 ::resource:document 是對所有分類系統中的類別進行分類的本體詞彙。詞彙表可能與 Network of Functions 這個概念中所描述的詞彙表相同或相似，但卻是一個版本控制和演變的主題。

例如，我建議網絡資源詞彙表的 V1 爲。

{
    '::category': ['.goal', '.concept', '.question'],
    '::system':   ['.project', '.structure', '.mechanism', '.organization', '.person', '.process', '.api'],
    '::method':   ['.idea', '.principle', '.function', '.invention', '.equipment', '.product', '.endpoint'],
    '::location': ['.address', '.account', '.url'],
    '::request':  ['.CATEGORY', '.query', '.order', '.operation', '.task', '.call'],
    '::resource': ['.record', '.document', '.METHOD', '.SYSTEM'],
}

在詞彙表的這個版本中，命名是這樣的：

$ mongo
> use HTTPS
> db['1.1.1.1:443/Page::v1/resource:document'].insertOne({'hi': 'there'})

注意：詞彙表中大寫的 .CATEGORY、.METHOD 和 .SYSTEM 是別名，也就是說，如果你有一個 ::resource 看起來像系統，則不應該使用 ::resource 命名空間，而應該使用 ::system 命名空間。

這種方法的結果是，程序收集的本地數據庫，有按協議命名的數據庫，可能看起來像這樣：

FTP 114.330GB
HTTP 5.340TB
HTTPS 153.481TB
IMAP 138.183GB
POP 11.380GB
XMPP 1.423GB
admin 0.000GB
config 0.000GB
local 0.027GB

你可以想象更多的協議，比如： TELNET, SSH, FTP, SMTP, DNS, AMQP, HTTPS:ATOM, HTTPS:RSS, BITCOIN, BITTORRENT, EDONKEY, FREENET, IRC, IMAP, IPFS, LDAP, HTTP, HTTPS, MIME, MQTT, NNTP, NTCIP, NTP, POP, RTP, RTSP, SIP, SMPT, TOR, TOX, XMPP, Z3950, TELEGRAM, ETHEREUM, HTTPS:GRAPHQL, HTTPS:REST, 等等。

爬蟲各自會定義自己的名稱來命名所爬取的項目對象，比如 /Page，但使用共享詞彙版本如 ::resource:document 來添加元數據，以備將來整理數據。

爬蟲將存儲在公共的git庫中，而抓取的數據將作爲BT種子共享。世界映射助手這種方式會自動將抓取的數據作爲種子，人們可以快速獲取互聯網的結構化數據，用於計算、擴展和運營。

後續思路：

• 可以通過監測人們訪問了哪些網站、訪問了多少次來生成爬網線索，爲用戶統計出什麼樣的來源可能會有興趣自動抓取。很容易用瀏覽器插件來實現，但也可能用監測自己操作系統的流量來完成。