LinkedListの要素アクセスがO(N)なのはそういうデータ構造だから仕方ないんじゃないのか?
その代わり要素の挿入とか削除がArrayListより高速な利点があるわけだし用途によって向き不向きがあるだけ