0

GitHubからAPIを通じてランダムにソースコードをダウンロードする方法について知りたいです。

api.github.com/repositories?since=50000

上記のようにすればレポジトリまではランダムに特定できたような感じなのですが、
なぜsinceというパラメータでランダムになるのかがわかりません。
上記は登録不要のAPIを使っているようですが登録が必要なAPIを使っても構いません。
また、レポジトリのライセンス、作者も取得したいです。
よろしくお願いします。

1
  • 3
    https://api.github.com/repositories から返ってくる結果は「作成された順」の一覧であり、?since=XXX で指定するのは (続きがある場合に) どのページから表示するかで、ランダムに表示するためのパラメータではありません。詳細: developer.github.com/v3/repos/#list-public-repositories
    – cubick
    Commented 2020年9月16日 8:15

2 件の回答 2

0

すべて登録不要のAPIだけで可能です。

ランダムにソースコードをダウンロードする方法

https://api.github.com/repositories
で、100件ずつ取得できます。

id 順にソートされているので、この配列からランダムに要素を抽出すれば良いです。

since パラメータに与える数値を、ランダムに生成して
クエリとして付けると、さらに良いと思います。

html_url: "https://github.com/octocat/Hello-World",

のように、リポジトリのURLが入っているので
この文字列を git clone に与えれば、ソースコードをダウンロードできます。

レポジトリのライセンス、作者も取得したい

作者については、上記APIで返ってくる

  {
    "id": 1296269,
    "node_id": "MDEwOlJlcG9zaXRvcnkxMjk2MjY5",
    "name": "Hello-World",
    "full_name": "octocat/Hello-World",
    "owner": {
      "login": "octocat",
      "id": 1,
      "node_id": "MDQ6VXNlcjE=",
      "avatar_url": "https://github.com/images/error/octocat_happy.gif",
      "gravatar_id": "",
      "url": "https://api.github.com/users/octocat",
      "html_url": "https://github.com/octocat",

owner -> login の部分が該当します。
作者ページのURLが必要ならば、owner -> html_url です。


ライセンスについては、上記APIだけでは取得できません。

上の例の場合、
https://api.github.com/repos/octocat/Hello-World
というAPIを2便目として投げれば、ライセンス情報の含まれたJSONが返ってきます。

このURLは、1便目である
https://api.github.com/repositories
の返すJSON内に、

    "url": "https://api.github.com/repos/octocat/Hello-World",

として含まれているので、それをそのまま使えます。

ちなみに、ライセンス情報はこんな感じで入っています。

    "license": {
      "key": "mit",
      "name": "MIT License",
      "spdx_id": "MIT",
      "url": "https://api.github.com/licenses/mit",
      "node_id": "MDc6TGljZW5zZW1pdA=="
    }

LICENSEファイルが置かれていないリポジトリの場合、

license: null,

ですので、name キーが存在するとは限りません。
nullチェックにご注意ください。

参考: https://developer.github.com/v3/repos/

6
  • 回答ありがとうございます。git cloneせずに単一のソースコードのファイル一つをランダムに取得する方法はありますでしょうか。railsでAPIを組もうかと思っているので余り処理が重くないものがあればお願いします。
    – Enuc
    Commented 2020年9月18日 1:48
  • ファイルというよりソースコードそのものが欲しいのでファイルのダウンロードはしない方法がいいです。
    – Enuc
    Commented 2020年9月18日 2:01
  • 生のソースコードが必要なのならば、raw.githubusercontent.com/kako-jun/cdand/master/cdand.go のようなURLで取得できます。ただ、他人が作ったリポジトリに含まれるソースコードのパスをずばり当てるのは無理だと思います。言語やフレームワークを限定すれば、「このフレームワークでは必ずルートディレクトリからこの相対パスの位置に、このファイル名でソースコードがあるはず」みたいな類推はできます。
    – kako-jun
    Commented 2020年9月24日 3:30
  • どの言語でも対応したいならば、api.github.com/repos/kako-jun/cdand/contents を取得して、拡張子でフィルタリングするしかないのでは。このAPIの結果にはファイルだけでなくサブディレクトリも含まれているので、サブディレクトリを再帰的に掘っていけば可能です。
    – kako-jun
    Commented 2020年9月24日 3:39
  • 教えていただいた方法でコードを持ってくることができました。ありがとうございました。参考までに拙いですがコードをのせておきます
    – Enuc
    Commented 2020年9月28日 9:14
0

railsのランナーでコードを持ってくるコードを載せておきます。
ツッコミがあれば是非お願いします。
テストしているうちにrate limitに到達してしまったため認証して使っています。
Curbというgemを使っています。

$ rails r CallGitHubApi.get

/lib/call_git_hub_api.rb

class CallGitHubApi
    @@repo_num = 200000000
    @@user_agent = 'centos_rails'
    @@token = '*****'
    @@licenses = ['mit', 'apache-2.0', 'gpl-3.0']
    @@file_types = ['c', 'js', 'swift', 'py', 'cs', 'ts', 'cpp', 'go', 'java', 'php', 'rb']
    def self.get(url)
        http = Curl.get(url) |http|
            http.headers['User-Agent'] = @@user_agent
            http.headers['Authorization'] = 'token ' + @@token
        end
        json = JSON.load(http.body_str)
        return json
    end
    def self.get_code
        license = nil
        raw =nil
        while raw == nil do
            while license == nil do
                license = nil
                since = rand(@@repo_num)
                puts 'get repo ' + since.to_s
                json = get("https://api.github.com/repositories?since=#{since}")
                if json[0]["private"] then
                    next
                end
                url = json[0]['url']
                json = get(url)
                if json['license'] != nil && 
                    @@licenses.include?(json['license']['key']) then
                    license = 'Free commercial'
                end
            end
            puts 'end get repo'
            raw = find_file(url,true)
        end        
    end
    
    def self.find_file(url, first)
        if first then
            json = get("#{url}/contents")
        else
            json = get(url)
        end
        if json == nil then return nil end
        for content in json do
            if content == nil then return nil end
            if content[0] == "name" then
                return nil
            end
   
            splite = content['name'].split(".")
            if splite.count <= 1 then
                raw = find_file(content['url'], false)
                if raw == nil then
                    next
                end
                return raw
            end
            if !@@file_types.include?(splite.last) then
                next
            end
            puts content['url']
            http = Curl.get(content['download_url']) do |http|
                http.headers['User-Agent'] = @@user_agent
                http.headers['Authorization'] = 'token ' + @@token
            end
            raw = http.body_str
            return raw
        end
        return nil
    end
end

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。