SQL Server 2016 expressで特定のテーブルのアクセスが異常に遅いのですが、何か原因はありますか？

特定のテーブルの情報
・データ50万件 (select count(＊)だけで10秒かかる)
・頻繁にインサートしている
・主キーを設定していない

プログラムでDBに接続側がタイムアウトになるくらい何かが起きているようです。