8
きちんとトランザクションを管理していますか?
SQLiteはデフォルトでは一件更新毎にコミットが走るため、遅いです。
2000件程度ならば一気にselectしたものを一回のトランザクションで済ませれば質問者さんのロジックで5秒もかかりません。
言語の指定がないのでPythonで書くならこんな感じです。
connection = sqlite3.connect(DBファイル, isolation_level='EXCLUSIVE')
# selectしてリスト化
connection.execute('BEGIN IMMEDIATE')
connection.executemany(insert文, タプルのリスト(全件分)) # または一件ずつinsert
connection.commit()
...
5
Pythonのドキュメントで sqlite3.connect()について以下のようにように説明されています。
sqlite3.connect(database[, timeout, detect_types, isolation_level, check_same_thread, factory, cached_statements, uri])
(中略)
データベースが複数の接続からアクセスされている状況で、その内の一つがデータベースに変更を加えたとき、SQLite データベースはそのトランザクションがコミットされるまでロックされます。timeout パラメータで、例外を送出するまで接続がロックが解除されるのをどれだけ待つかを決めます。デフォルトは 5.0 (5秒) です。
したがって、...
4
どうしても SQL だけでということなら、
create table tbl_new (
id integer,
name text,
price integer,
idx integer primary key autoincrement
);
insert into tbl_new (id, name, price) select id, name, price from tbl_test;
alter table tbl_test rename to tbl_old;
alter table tbl_new rename to tbl_test;
という方法もあります。カラムの型が若干変わってしまいますが。
手元では1秒かからず一瞬で完了しました。
3
恐らくですが、
select last_insert_rowid();
でよいことがわかりました。
お騒がせいたしました。
これ以外に良い回答がございましたらお教えいただければ幸いです。
3
MySQLなどはクライアントからネットワークなりを通してサーバーに接続するモデルなので、アプリケーションからネットワーク越しにDBに接続することができます。
しかしSQLiteの場合、アプリケーションに組み込まれたSQLiteライブラリが直接データベースファイルを操作しますから、サーバーという概念がなく、ネットワーク越しに接続するということもできません。
ですから、サーバー上のSQLiteデータベースに対して操作がしたいとなると、サーバー側に「SQLiteを操作するプログラム(API)」を自分で用意する必要があります。
「任意のSQLを受け取って実行し、結果をJSONで返す」といった形もありですが、実際には「○○を保存するAPI」「××を取得するAPI」といった形にして、SQLを隠ぺいしたり、...
3
公式のIssueでも類似の現象が報告されていて未解決のように見えるのですが、対応方法をご存知の方がいましたらご教示願います。
未解決ではないです。
これらはどれも Windows 上でクロスCコンパイラを使わずにビルドしているのが原因です。
Pure Golang であれば Windows 上で Linux のバイナリを出力できますが、CGO を使う場合 gcc を使うので、Linux のバイナリを吐ける gcc を用意する必要があります。
3
前回の質問 でのやり取りと根本的な原因は同じで、CentOS6 の標準パッケージで提供されているSQLiteのバージョンとしては v3.6.20 が最新です。参考までに CentOS7 でも v3.7.17 までしか利用できません。
SQLite の v3.8 以降が必要な場合には、公式サイトからソースコード を入手し、コンパイルして自力でインストールする必要があります。現時点では v3.31.1 が最新版です。
手順
$ curl -O https://www.sqlite.org/2020/sqlite-autoconf-3310100.tar.gz
$ tar xzvf sqlite-autoconf-3310100.tar.gz
$ cd sqlite-autoconf-3310100
$ ./...
3
SQLiteには以下のSQLがあるようです(実際に試したわけではありません)。
リンク先は「SQLiteリファレンス」です。
データがあれば更新、無ければ追加するSQL文
on conflict do 句
データがあれば置き換えて、無ければ追加するSQL文
replace into 文
これらの違いが分かっていませんが参考になればと思い回答します
3
一括挿入によると
SQLite には、データを一括挿入するための特別な方法はありません。 データの挿入または更新時に最適なパフォーマンスを得るには、以下を行ってください。
トランザクションの使用。
同じパラメーター化コマンドの再利用。 後続の実行で、最初の実行のコンパイルを再利用します。
と案内されています。
マシン環境が異なるので所要時間が異なりますが、
takemori_kondoさんのコード: 402ms
一括挿入: 230ms
一括挿入からtranをコメントアウト: 243,755ms
と愚直にループしてもかなり高速になります。
#if false
foreach (var group in list.Select((hv, i) => (hv, i)).GroupBy(x =&...
2
修正方法は heliac2001さんの回答 を見ていただくとして、エラーの意味するところがわからないようですのでエラーメッセージの意味を少し。
'NoneType' object has no attribute '__getitem__'
attributeは属性と訳せますが、このエラーの意味として平たく言えばメソッドとかプロパティの事です。
「(__getitem__を呼び出すような処理だが) __getitem__ というメソッドとかプロパティの類を持っていませんよ」という意味になります。
最初の 'NoneType' object は None型のオブジェクトです。変数の中身が(文字とか数値とかでなく、Noneだった)ということです。
まとめる(というほどでもないですが)と、
「...
2
取得したJsonArrayを使用して以下のようにすればいいかと思われます。
for(int i=0; i<jArray.length(); i++){
Book.fromJson(jArray.getJSONObject(i));
}
2
自分のIDが1だった場合で、followテーブルの中身を以下のように仮定してみます。
from_id | to_id
--------+--------
1 | 10
1 | 11
1 | 12
2 | 1
11 | 1
12 | 1
12 | 2
12 | 11
この場合、自分がフォローしているユーザーが 10, 11, 12 の3人。また、自分をフォローしているユーザーが 2, 11, 12 の 3人となります。
両思いのユーザーを見つけるには、以下の様にfollowテーブル同士で結合して(一つは自分がフォローしている人のリスト(following)、もう一つは自分をフォローしている人のリスト(follower))、...
2
bbb_nm(40) TEXT
ここはbbb_nm TEXT(40)では。
2
以下の SQL で取得可能です。
SELECT *
FROM post
WHERE EXISTS (SELECT 1
FROM follow
WHERE follow.to_id = post.user_id
AND follow.from_id = 自分のid)
コメントにお書きになられている方法だと「フォローしているうちの誰か1人の投稿」となる気がします。
2
CASE式で機械的に書いてみました。
indexが予約語なので、ダブルクォートで囲んでいます。
UPDATE conf
SET t_index =
(
SELECT MIN("index")
FROM list
WHERE "index" >
CASE WHEN EXISTS( SELECT "index" FROM list WHERE "index" > (SELECT t_index FROM conf))
-- 値がある場合、conf.t_indexより大きなlist.indexの最小値をセット
THEN ( SELECT t_index FROM conf)
-- 値がない場合、1以上のlist.indexの最小値をセット
ELSE 0
END
)
2
更新するテーブルに対してJOINはできないようです。
英語版に同様の質問がありますので、そちらも参照してください。
How do I make an UPDATE while joining tables on SQLite?
UPDATE person
SET name = '初日の出'
WHERE id = 1
AND cid IN (
SELECT b.cid
FROM bloodtype b
INNER JOIN student_data c
ON (b.cid = c.cid));
2
「カラムはid(integer型)とdate(text型)です」と言うことなら、sqlの前半もおかしいんでは無いですかね。
sql = "INSERT INTO graph(id,date) VALUES('1',?)"
connector.execute(sql, [newtitle]) # 追記部分をご覧ください
値を埋め込む時は直接SQL文を文字列として作らず?で埋め込んだ方が良いと思います。
(追記)
上記のコードも一応手元の環境で動くことは確かめたものですが、コメントに書いていただいたように、ドキュメントでは?に対する値はtuple of valuesで指定すると書かれていて、コード例も一貫してそれに合わせてあるので、2行目は次のように書いた方が良いと思われます。
connector....
2
以下の部分を
member = Member.create(
このように変更して実行してみてください。
member = Member.create!(
エラーになっているのはMemberImageをcreateする際に渡しているmemberがDBに保存されていないからだと思います。(↓この部分↓)
MemberImage.create(
member: member,
uploaded_image: file
)
おそらくMember.create時にバリデーションエラーが発生しているのでしょう。create!メソッドを使用すれば、バリデーションエラーがあった時に例外が発生するようになるので、なぜ保存できないかが分かります。
2
NFSを使って、別のホストのディレクトリもしくはファイルをマウントし、そのマウントした先を出力先に指定すれば、ローカルファイルではなく、別のホストのファイルにバックアップされます。
2
まず接続にはDbConnection派生型を使用します。今回はSQLiteのためSQLiteConnectionをインスタンス化します。当然接続に使用する接続文字列はJDBCとは異なりますのでご注意ください。
// (仮) string dbPath = null, moduleName = null;
// int limit = 0, offset = 0;
//Connection con = DriverManager.getConnection("jdbc:sqlite:" + dbPath);
using (var con = new SQLiteConnection("Data Source=" + dbPath))
{
接続/...
2
質問者です。コメント追加できないため、回答からコメントします。
解決しました。
metropolisさん、mattnさんありがとうございます。
OS: Mac
brew install icu4c
brew link icu4c --force
参考
https://stackoverflow.com/questions/33259191/installing-libicu-dev-on-mac
OS: Linux(Debian)
apt-get install libicu-dev
2
1日後のエントリがないエントリを探す(*1)
(*1)のエントリそれぞれについて、過去、かつ最近のエントリを探し、その日数差を求める
(*1)と元のテーブルを結合し、過去、かつ上記日数差以内のエントリごとにまとめる
とすれば求まりますが、多数回の自己結合操作をしなければならない高コストなクエリを発行する必要があります
共通テーブル式の再帰を用いれば、より簡潔な記述ができると思います
https://sqlite.org/lang_with.html
SELECT
MIN(T2.id) AS id,
MIN(T2.date) AS date_min,
MAX(T2.date) AS date_max
FROM (
SELECT
T1.id,
T1.type_id,
...
2
時刻のデータがかなりの割合を占めるSQLiteのファイルサイズを抑えるため
このコメントで質問内容がほとんど別物になってしまいました。
SQLite3のINTEGERは
INTEGER. The value is a signed integer, stored in 1, 2, 3, 4, 6, or 8 bytes depending on the magnitude of the value.
と説明されています。DateTime.TimeOfDay.Ticksを格納するだけで値に応じた適切なサイズで格納されます。
(と言っても大半は6バイトになりそうですが。)
こういったことができるライブラリはありますか?
直接的にはありません。ある人は5バイトがよく、またある人は6バイト、...
2
INDEXを張る
playerとgame_dateでユニークとのことなので順当にインデックスを張ってみるのはどうでしょうか。
CREATE TABLE score_history (
game_date INTEGER NOT NULL,
player TEXT NOT NULL,
score INTEGER NOT NULL,
PRIMARY KEY (player ASC, game_date DESC)
);
なお、playerごとのgame_date(前日)のようにアクセスパターンに合わせたインデックスを作成すると効率的です。
CLUSTERED INDEXを張る
...
2
「SMBなどでローカルからファイルが見れるようにする」という方法は、処理速度が遅くなること、ネットワークのファイルシステムにバグがあり同時に複数の場所から同じデータベースの同じ部分に入力があった場合にはファイルが壊れることがあることから、あまり勧められる方法ではないと思います。
参考 SQLiteのドキュメントの Appropriate Uses For SQLite のページ
If there are many client programs sending SQL to the same database over a network, then use a client/server database engine instead of SQLite. SQLite will work over ...
2
SQLiteのデータを確認したいということであれば、クロスプラットフォーム対応の
「DB Browser for SQLite」などがあります。
DB Browser for SQLite
“SQLite”のデータベースを管理できる「SQLite Database Browser」 - 窓の杜
2
Mac にanaconda をインストールされていませんでしょうか? コマンドパスが anaconda のsqlite3 になっている場合、日本語入力ができないようです。私の場合、パス設定を/usr/bin/sqlite3 に変えることで、MacOS 10.14 でも日本語入力ができました。下記のサイトを参考にしました。
https://www.u.tsukuba.ac.jp/ufaqs/sqlite3/
2
System.Data.SQLite.Coreでは
\App.exe (optional, managed-only application executable assembly)
\App.dll (optional, managed-only application library assembly)
\System.Data.SQLite.dll (required, managed-only core assembly)
\System.Data.SQLite.Linq.dll (optional, managed-only LINQ assembly)
\System.Data.SQLite.EF6.dll (optional, managed-only EF6 ...
2
twitterでアドバイスいただいて解決したので載せます。
.tbls.ymlの / スラッシュを一つ減らせば解決です。
# DSN (Database Source Name) to connect database
[False] dsn: sqlite:///./db.sqlite3
[Correct]dsn: sqlite://./db.sqlite3
おそらくですが「sqlite:// はプロトコルの指定(http:// と一緒)」ということなのでは…と思います。
※パスは相対パスでも絶対パスでもどっちでもOKでした。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります