PythonでURLクエリ文字列を自由自在に操作：取得・作成・変更テクニック

from urllib.parse import urlparse, parse_qs

# サンプルURL
url = "https://example.com/search?keyword=python&category=programming&page=1"

# URLを解析
parsed_url = urlparse(url)

# クエリ文字列部分を取得
query_string = parsed_url.query

# クエリ文字列を辞書形式に変換
query_params = parse_qs(query_string)

print(f"元のURL: {url}")
print(f"クエリ文字列（生データ）: {query_string}")
print(f"クエリパラメータ（辞書形式）: {query_params}")

# 特定のパラメータにアクセス
print(f"キーワード: {query_params.get('keyword', [''])[0]}")
print(f"カテゴリ: {query_params.get('category', [''])[0]}")

# 出力例:
# 元のURL: https://example.com/search?keyword=python&category=programming&page=1
# クエリ文字列（生データ）: keyword=python&category=programming&page=1
# クエリパラメータ（辞書形式）: {'keyword': ['python'], 'category': ['programming'], 'page': ['1']}
# キーワード: python
# カテゴリ: programming

from urllib.parse import urlencode

# パラメータを辞書で定義
params = {
    "query": "Python web scraping",
    "sort": "date",
    "limit": 10
}

# クエリ文字列にエンコード
encoded_query_string = urlencode(params)

print(f"作成されたクエリ文字列: {encoded_query_string}")
# 出力例: query=Python+web+scraping&sort=date&limit=10

# ベースURLと結合して完全なURLを作成
base_url = "https://api.example.com/items"
full_url = f"{base_url}?{encoded_query_string}"

print(f"完全なURL: {full_url}")
# 出力例: 完全なURL: https://api.example.com/items?query=Python+web+scraping&sort=date&limit=10

from urllib.parse import urlparse, parse_qs, urlencode, urlunparse

# 既存のURL
original_url = "https://example.com/products?category=electronics&page=1&sort=price"

# 1. URLを解析して、各要素とクエリパラメータを取得
parsed_url = urlparse(original_url)
query_params = parse_qs(parsed_url.query)

print(f"変更前のパラメータ: {query_params}")

# 2. パラメータを変更（または追加・削除）
# 'page'を2に変更
query_params['page'] = ['2']
# 'sort'を'name'に追加（リストに追加）
query_params['sort'].append('name')
# 新しいパラメータを追加
query_params['color'] = ['red']
# 'category'を削除
if 'category' in query_params:
    del query_params['category']

print(f"変更後のパラメータ（辞書）: {query_params}")

# 3. 変更後のパラメータを再度クエリ文字列にエンコード
# doseq=True は、リスト形式の値（例: 'sort': ['price', 'name']）を
# 'sort=price&sort=name' のようにエンコードするために必要
new_query_string = urlencode(query_params, doseq=True)

# 4. 新しいクエリ文字列を使ってURLを再構築
# urlunparseは、urlparseの逆の操作で、タプルからURLを構築します。
# parsed_url.replace(query=new_query_string) でも同様の結果が得られます。
modified_url = urlunparse(parsed_url._replace(query=new_query_string))

print(f"変更後のURL: {modified_url}")

# 出力例:
# 変更前のパラメータ: {'category': ['electronics'], 'page': ['1'], 'sort': ['price']}
# 変更後のパラメータ（辞書）: {'page': ['2'], 'sort': ['price', 'name'], 'color': ['red']}
# 変更後のURL: https://example.com/products?page=2&sort=price&sort=name&color=red