Pythonで学術論文を自動取得！arXiv APIで論文情報とPDFをダウンロード

pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup

# arXiv APIの基本URL
ARXIV_API_URL = "http://export.arxiv.org/api/query"

# 検索パラメータの設定
params = {
    "search_query": "all:Python", # 全てのフィールドから"Python"を検索
    "start": 0,                   # 検索結果の開始位置
    "max_results": 3,             # 取得する論文数
    "sortBy": "lastUpdatedDate",  # 最新更新日でソート
    "sortOrder": "descending"     # 降順 (新しい順)
}

try:
    # APIにリクエストを送信
    response = requests.get(ARXIV_API_URL, params=params)
    response.raise_for_status() # HTTPエラーが発生した場合に例外を投げる

    # レスポンスのXMLをBeautifulSoupで解析
    soup = BeautifulSoup(response.content, "xml")

    # 各論文エントリを取得
    entries = soup.find_all("entry")

    print(f"--- 取得した論文情報 ({len(entries)}件) ---")
    for i, entry in enumerate(entries):
        title = entry.find("title").text.strip()
        authors = [author.find("name").text.strip() for author in entry.find_all("author")]
        summary = entry.find("summary").text.strip()
        pdf_url_tag = entry.find("link", {"title": "pdf"})
        pdf_url = pdf_url_tag["href"] if pdf_url_tag else "N/A"

        print(f"\n--- 論文 {i+1} ---")
        print(f"タイトル: {title}")
        print(f"著者: {', '.join(authors)}")
        print(f"PDF URL: {pdf_url}")
        # 要約は長いため、必要に応じて表示
        # print(f"要約: {summary[:200]}...") # 要約の最初の200文字のみ表示

except requests.exceptions.RequestException as e:
    print(f"HTTPリクエストエラー: {e}")
except Exception as e:
    print(f"処理中にエラーが発生しました: {e}")

# 出力例:
# --- 取得した論文情報 (3件) ---
#
# --- 論文 1 ---
# タイトル: (取得した論文のタイトル)
# 著者: (著者名1, 著者名2)
# PDF URL: (PDFのURL)
# ... (他の論文情報)

import requests
import os
from bs4 import BeautifulSoup # 論文情報取得のため

# arXiv APIの基本URLとパラメータ (上記と同じ)
ARXIV_API_URL = "http://export.arxiv.org/api/query"
params = {
    "search_query": "all:Python",
    "start": 0,
    "max_results": 1, # 1件だけダウンロードの例
    "sortBy": "lastUpdatedDate",
    "sortOrder": "descending"
}

# PDFを保存するディレクトリ
download_dir = "arxiv_pdfs"
if not os.path.exists(download_dir):
    os.makedirs(download_dir)
    print(f"ディレクトリ '{download_dir}' を作成しました。")

try:
    # APIから論文情報を取得
    response = requests.get(ARXIV_API_URL, params=params)
    response.raise_for_status()
    soup = BeautifulSoup(response.content, "xml")
    entry = soup.find("entry")

    if entry:
        pdf_url_tag = entry.find("link", {"title": "pdf"})
        if pdf_url_tag:
            pdf_url = pdf_url_tag["href"]
            title_raw = entry.find("title").text.strip()
            # ファイル名に使えるようにタイトルを整形 (特殊文字を_に置換など)
            file_name = "".join(c if c.isalnum() or c in (' ', '.', '-') else '_' for c in title_raw)
            file_name = file_name[:50].strip() + ".pdf" # 長すぎるタイトルは短縮
            
            output_filepath = os.path.join(download_dir, file_name)

            print(f"\nPDFをダウンロード中: '{pdf_url}'")
            # PDFファイルをダウンロード
            pdf_response = requests.get(pdf_url, stream=True) # stream=True で大きなファイルも効率的に
            pdf_response.raise_for_status()

            with open(output_filepath, "wb") as pdf_file:
                for chunk in pdf_response.iter_content(chunk_size=8192):
                    pdf_file.write(chunk)
            
            print(f"PDFを '{output_filepath}' に保存しました。")
        else:
            print("PDFのURLが見つかりませんでした。")
    else:
        print("論文が見つかりませんでした。")

except requests.exceptions.RequestException as e:
    print(f"HTTPリクエストエラー: {e}")
except Exception as e:
    print(f"処理中にエラーが発生しました: {e}")

# 出力例:
# ディレクトリ 'arxiv_pdfs' を作成しました。
#
# PDFをダウンロード中: http://arxiv.org/pdf/(論文ID).pdf
# PDFを 'arxiv_pdfs/Python_for_...(論文タイトル).pdf' に保存しました。