サンプルコードで身につける: URL の部品 — scheme / host / port / path / query を左から切る

// URL を左から右へ 4 段階で切る。まずは失敗を考えず、形だけを見る
fn main() {
    let input = "http://localhost:8000/docs/index.html?q=rust&page=2";

    // 1. "://" の前がスキーム
    let (scheme, rest) = input.split_once("://").expect("\"://\" がない");

    // 2. 次の "/" か "?" までが authority(host[:port])
    let authority_end = rest.find(['/', '?']).unwrap_or(rest.len());
    let authority = &rest[..authority_end];
    let tail = &rest[authority_end..];

    // 3. authority を ":" で host と port に分ける。無ければ http の既定ポート 80
    let (host, port) = match authority.rsplit_once(':') {
        Some((h, p)) => (h, p.parse::<u16>().expect("ポートが数字でない")),
        None => (authority, 80),
    };

    // 4. 残りを "?" で path と query に分ける。パスが空なら "/"
    let (path, query) = match tail.split_once('?') {
        Some((p, q)) => (p, Some(q)),
        None => (tail, None),
    };
    let path = if path.is_empty() { "/" } else { path };

    println!("input  : {input}");
    println!("scheme : {scheme}");
    println!("host   : {host}");
    println!("port   : {port}");
    println!("path   : {path}");
    println!("query  : {query:?}");
}

/// http の既定ポート(URL Standard の special scheme の表より)
const HTTP_DEFAULT_PORT: u16 = 80;

struct Url {
    scheme: String,
    host: String,
    port: u16,
    path: String,
    query: Option<String>,
}

fn parse(input: &str) -> Option<Url> {
    let (scheme, rest) = input.split_once("://")?;
    // fragment(# 以降)はブラウザの中でだけ使う。サーバーには送らないのでここで捨てる
    let rest = rest.split('#').next().unwrap_or("");
    let authority_end = rest.find(['/', '?']).unwrap_or(rest.len());
    let (authority, tail) = (&rest[..authority_end], &rest[authority_end..]);
    let (host, port) = match authority.rsplit_once(':') {
        Some((h, p)) => (h, p.parse().ok()?),
        None => (authority, HTTP_DEFAULT_PORT),
    };
    let (path, query) = match tail.split_once('?') {
        Some((p, q)) => (p, Some(q.to_string())),
        None => (tail, None),
    };
    Some(Url {
        scheme: scheme.to_ascii_lowercase(),
        host: host.to_ascii_lowercase(), // スキームとホストは大文字小文字を区別しない
        port,
        path: if path.is_empty() { "/".to_string() } else { path.to_string() },
        query,
    })
}

impl Url {
    /// request-line に書く部分(origin-form)。path と ?query だけで、host は含めない
    fn request_target(&self) -> String {
        match &self.query {
            Some(q) => format!("{}?{}", self.path, q),
            None => self.path.clone(),
        }
    }

    /// Host ヘッダーの値。既定ポート以外のときだけ ":port" を付ける(RFC 9110 7.2)
    fn host_header(&self) -> String {
        if self.port == HTTP_DEFAULT_PORT {
            self.host.clone()
        } else {
            format!("{}:{}", self.host, self.port)
        }
    }
}

fn main() {
    let inputs = [
        "http://example.com",
        "http://Example.COM:80/Path#section-2",
        "http://localhost:8000/docs?q=rust",
        "HTTP://example.com?x=1",
    ];
    println!("{:<38} {:<7} {:<16} {}", "input", "scheme", "Host", "request-target");
    for input in inputs.iter() {
        let u = parse(input).expect("分解できない");
        println!("{:<38} {:<7} {:<16} {}", input, u.scheme, u.host_header(), u.request_target());
    }
}

use std::collections::BTreeMap;

const HTTP_DEFAULT_PORT: u16 = 80;

struct Url {
    host: String,
    port: u16,
    path: String,
}

/// 集計に必要な部品だけ取り出す最小の parse(scheme と query は読み捨て)
fn parse(input: &str) -> Option<Url> {
    let (_, rest) = input.split_once("://")?;
    let rest = rest.split('#').next().unwrap_or("");
    let authority_end = rest.find(['/', '?']).unwrap_or(rest.len());
    let (authority, tail) = (&rest[..authority_end], &rest[authority_end..]);
    let (host, port) = match authority.rsplit_once(':') {
        Some((h, p)) => (h, p.parse().ok()?),
        None => (authority, HTTP_DEFAULT_PORT),
    };
    let path = tail.split('?').next().unwrap_or("");
    Some(Url {
        host: host.to_ascii_lowercase(),
        port,
        path: if path.is_empty() { "/".to_string() } else { path.to_string() },
    })
}

impl Url {
    fn host_header(&self) -> String {
        if self.port == HTTP_DEFAULT_PORT {
            self.host.clone()
        } else {
            format!("{}:{}", self.host, self.port)
        }
    }
}

fn main() {
    // プロキシのアクセスログ(抜粋)。同じサーバーでも表記がばらばら
    let log = "\
10:00:01 GET http://Example.com/index.html
10:00:02 GET http://example.com:80/style.css
10:00:05 GET http://api.example.com:8080/v1/items?page=1
10:00:06 GET http://EXAMPLE.COM/img/logo.png#top
10:00:09 GET http://api.example.com:8080/v1/items?page=2
10:00:11 GET http://localhost:3000/
10:00:12 GET http://api.example.com:8080/health";

    // Host ヘッダーの値(host[:port])をキーにすれば、表記の違いが 1 つにまとまる
    let mut by_host: BTreeMap<String, Vec<String>> = BTreeMap::new();
    for line in log.lines() {
        let url = line.split(' ').nth(2).unwrap_or("");
        match parse(url) {
            Some(u) => by_host.entry(u.host_header()).or_default().push(u.path),
            None => println!("読めない行: {line}"),
        }
    }

    for (host, paths) in &by_host {
        println!("{host:<22} {} 件  {}", paths.len(), paths.join(" "));
    }
}